加入收藏 | 设为首页 | 会员中心 | 我要投稿 李大同 (https://www.lidatong.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 百科 > 正文

使用TProfiler分析并调优项目中的Fastjson序列化代码

发布时间:2020-12-16 19:02:45 所属栏目:百科 来源:网络整理
导读:摘要 本文介绍了TProfiler性能分析方面的实际应用,可以看到通过TProfiler的分析结果,非常容易发现一些性能问题。而这些问题往往较为隐蔽,你最熟悉的地方很有可能早就被你挖了坑。同时也介绍了Fastjson在过滤对象属性和自定义序列化属性方面的应用。 tprof
摘要 本文介绍了TProfiler性能分析方面的实际应用,可以看到通过TProfiler的分析结果,非常容易发现一些性能问题。而这些问题往往较为隐蔽,你最熟悉的地方很有可能早就被你挖了坑。同时也介绍了Fastjson在过滤对象属性和自定义序列化属性方面的应用。
tprofiler fastjson instrument instrumentation jvmti

目录[-]

  • 一、TProfiler入门
  • 1.简介
  • 2.简要的实现原理
  • 3.配置
  • 4.远程操作
  • 5.日志分析
  • 二、开始性能测试
  • 三、Fastjson并发测试
  • 四、问题代码的review和问题解决
  • 五、总结
  • 新项目年后就上线了,现在业务上没什么问题,就用TProfiler做了下性能分析,果然有坑。

    一、TProfiler入门

    高手请自觉略过本节。

    1.简介

    TProfiler是阿里巴巴开源的一款性能分析工具。号称可以用于生产环境进行长期的性能分析。测试程序部署后,在低峰期对响应时间影响20%,在高峰期对QPS影响30%。详细介绍请见官方WIKI。

    2.简要的实现原理

    TProfiler的实现基于JAVA的Instrumentation和ASM。Instrumentation可以理解为一种虚拟机级别的AOP实现,无需对项目代码和JDK有任何改动就可以实现AOP功能。TProfiler利用Instrumentation提供的入口,调用ASM将待分析的类的字节码进行修改,加入分析记录方法。在Profiler运行时即可抽样收集到相关类方法的调用信息。使用Instrumentation时也可以通过JVMTI提供的接口实现对类的完全控制。至于为什么TProfiler会选择ASM,我想可能有两方面的考虑:

    1)性能上更高效。使用JVMTI在每个类装入时都要执行hook程序,而ASM没有明显的性能代价。

    2)使用JVMTI对编程难度要求较高,要求对class文件结构和java字节码有深刻了解,而ASM虽然也有一些难度,但是相对来说还是小一些。

    3.配置

    TProfiler在使用上比较简单,在待分析的程序启动脚本中加入JVM参数

    javaagent:/path/to/tprofiler.jar -Dprofile.properties=/path/to/profile.properties

    并将jar包和profile.properties配置文件放置到前面指定位置就可以了。

    profile.properties可以根据需要进行配置:

    startProfTime = 9:00:00 开始profile的时间点
    endProfTime = 11:00 结束profile的时间点
    eachProfUseTime = 5 profile时间长度(单位秒)
    eachProfIntervalTime = 50 两次profile的时间间隔(单位秒)
    samplerIntervalTime = 20 两次采样的时间间隔(单位秒)
    debugMode = false 是否进入调试模式
    needNanoTime = false 是否需要用纳秒记录时间
    ignoreGetSetMethod = true 是否忽略采集get/set方法
    logFilePath = /home/admin/logs/tprofiler.log profile log的存放位置
    methodFilePath = /home/admin/logs/tmethod.log method log的存放位置
    samplerFilePath = /home/admin/logs/tsampler.log sampler log的存放位置
    excludeClassLoader = org.eclipse.osgi.internal.baseadaptor.DefaultClassLoader 不注入的类加载器(分号分割)
    includePackageStartsWith = com.taobao 进行profile的类包名(分号分割)
    excludePackageStartsWith = com.alibaba;com.taobao.forest.domain.dataobject 不进行profile的类包名(分号分割)

    4.远程操作

    TProfiler支持远程操作:

    远程查看状态操作:

    java -cp tprofiler.jar com.taobao.profile.client.TProfilerClient 10.232..端口号 status

    远程开始操作:

    java -cp tprofiler.jar com.taobao.profile.client.TProfilerClient 10.232..端口号 start

    远程停止操作:

    java -cp tprofiler.jar com.taobao.profile.client.TProfilerClient 10.232..端口号 stop

    远程刷出方法数据:

    java -cp tprofiler.jar com.taobao.profile.client.TProfilerClient 10.232..端口号 flushmethod

    5.日志分析

    运行采样后会生成三个文件:tsampler.log、tprofiler.log、tmethod.log。endProfTime时间到了后才会输出tmethod.log。

    得到以上三个日志文件后就可以进行分析了。

    分析sampler log命令: java -cp tprofiler.jar com.taobao.profile.analysis.SamplerLogAnalysis d:/tsampler.log d:/method.log d:/thread.log,会生成method.log和thread.log

    分析profiler log命令: java -cp tprofiler.jar com.taobao.profile.analysis.ProfilerLogAnalysis d:/tprofiler.log d:/tmethod.log d:/topmethod.log d:/topobject.log,会生成topmethod.log和topobject.log

    还是那句话,详细介绍请见官方WIKI,:P。

    二、开始性能测试

    参照第一节配置好我的jetty启动脚本jetty.sh后,使用ab进行压测

    ab -n 100000 -c 500 -p post-file http://urlpath    (post-filepost发送内容)

    得到日志后分析耗时最长的方法:

    java -cp tprofiler.jar com.taobao.profile.analysis.ProfilerLogAnalysis /var/tprofiler/logs/tprofiler.log /var/tprofiler/logs/tmethod.log /var/tprofiler/logs/topmethod.log /var/tprofiler/logs/topobject.log

    可以发现耗时最多的竟然是json序列化,抽样分析时共调用52412次,平均每次耗时809毫秒。对于这个结果比较诧异,和TProfiler系出同门的Fastjson的性能一直不错,以前开始用之前也做了不少序列化和反序列化的测试,怎么突然就这么耗时了呢。转念一想,这次的web项目里由于需要支持客户端自定义属性获取和日期格式化,所以需要Fastjson同时进行属性的过滤(通过SerializeFilter)以及日期的自定义格式化(通过SerializeConfig自定义一个把Integer秒转换成指定格式日期的IntegerCodec)。JSON类里没有原生的同时支持这两种操作的方法,所以就在原生的JSON#toJSONString(Object object,SerializeFilter filter,SerializerFeature... features)方法的基础上加了一个参数得到了JSONUtil#toJSONString(Object object,SerializeConfig config,SerializerFeature... features)。难道是这个原因?话不多说,继续测试。

    三、Fastjson并发测试

    由于怀疑新加的方法在并发下可能导致性能问题,于是比较了几种对Fastjson不同方法的并发调用时间,怎么简单怎么来,就不用什么高大上的报表了,各位看官见笑了哈

    第一列是普通的,第二列是带属性过滤的,第三列是自定义的同时支持属性过滤和日期格式化的toJSONString。其中COUNT是每个线程执行序列化的次数。这个并发的对比测试反应的问题有两点:1)并发情况下,性能确实变差;2)同样参数对比下来耗时相差两个数量级,我修改的方法确实有问题。

    四、问题代码的review和问题解决

    于是带着这两个问题,开始扒拉代码:

    public static String toStringWithFieldFilterAndDateFormat(Object object,final String[] fields,SerializerFeature... features ){
        SerializeFilter filter = null;
        // 只过滤第一层属性
        if(fields != null ){
            // 获得需要过滤掉的字段
            final Set<String> tobeRemoved = getTobeRemovedFields(object,fields);
            if(toRemove != null && toRemove.size() > 0){
                // 需要过滤字段
                filter = new PropertyFilter() {
                    @Override
                    public boolean apply(Object object,String name,Object value) {
                        // 转换日期格式
                        if(toRemove.contains(name)){
                            return false ;
                        }
                        return true;
                    }
                };
            }
        }
        SerializeConfig config = new SerializeConfig();
        if(NEED_FORMAT_DATE){
            config.put(Integer.class,CustomIntegerCodec.instance);
        }
        return toJSONString(object,config,filter,features);
    }

    这里CustomIntegerCodec是基于IntegerCodec的Integer类序列化和反序列化器。而toJSONString(Object object,SerializerFeature... features)只是在new JSONSerializer(out)时使用了另一个构造器new JSONSerializer(out,config)

    又看了一下Fastjson的源码,发现在SerializeConfig中对ObjectSerializer做了缓存,如果每次都传入一个新的SerializeConfig,必然每次都会进行不必要的解析和初始化操作,占用大量的时间。问题找出来了,解决方法也很简单,只要使用一个单例或静态变量即可

    private static final SerializeConfig customGlobalConfig = new SerializeConfig();
    static {
        if(NEED_FORMAT_DATE){
            customGlobalConfig .put(Integer.class,CustomIntegerCodec.instance);
        }
    }

    Fastjson默认的序列化方法其实也是使用的默认的静态全局实例SerializeConfig

    private final static SerializeConfig globalInstance = new SerializeConfig();

    修改之后进行测试

    O(∩_∩)O

    五、总结

    本文介绍了TProfiler性能分析方面的实际应用,可以看到通过TProfiler的分析结果,非常容易定位一些性能问题。而这些问题往往较为隐蔽,你最熟悉的地方很有可能早就被你挖了坑。 TProfiler本身也短小精炼,如果对Instrument、ASM感兴趣、性能分析感兴趣,推荐读一读。

    (编辑:李大同)

    【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

      推荐文章
        热点阅读