记一次golang内存泄露问题修复
发布时间:2020-12-16 18:03:32 所属栏目:大数据 来源:网络整理
导读:前言 公司一个项目中需实现以下功能: 读取主程序产生的日志. 将日志处理后存入mongodb 实现思路大致如下: 使用filewatch监视文件,一旦文件产生改变读取新添加数据. 将读取数据处理后存入mongodb. 问题 程序运行一段时间后发现系统变的巨卡,查看进程管理发现
前言公司一个项目中需实现以下功能:
实现思路大致如下:
问题程序运行一段时间后发现系统变的巨卡,查看进程管理发现此进程占用大部分内存,再次估计是发生内存泄露,开始查找问题. fm,err := os.OpenFile("./mem.out",os.O_RDWR|os.O_CREATE,0644) if err != nil { log.Fatal(err) } pprof.WriteHeapProfile(fm) fm.Close() 分析后发现大部分内存分配在watcher.WaitForFileChange()内部,然后继续使用net/http/pprof _ net/http/pprof go func() { http.ListenAndServe("localhost:6060",nil) }() 使用网页查看,发现有大量的goroutine阻塞于watcher.WaitForFileChange().至此发现是因为文件监视当文件发生改变后没有返回,导致大量goroutine阻塞于这里. 解决后测试发现文件监视这个包一定情况下存在这个问题,后改用文件锁替代,运行一段时间后没有出现泄漏,至此问题解决. (编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |