从python登录到MongoDB
发布时间：2020-12-20 12:27:26 所属栏目：Python 来源：网络整理
导读：我想使用 python将一些信息记录到mongodb中.我发现2个库mongodblog和log4mongo用于python.任何一个更好的想法？还是比这些更好的任何其他图书馆？ 解决方法 当您使用MongoDB进行日志记录时,关注的是高写入吞吐量的锁争用.尽管默认情况下MongoDB的插入是fire-
|
我想使用
python将一些信息记录到mongodb中.我发现2个库mongodblog和log4mongo用于python.任何一个更好的想法？还是比这些更好的任何其他图书馆？
解决方法
当您使用MongoDB进行日志记录时,关注的是高写入吞吐量的锁争用.尽管默认情况下MongoDB的插入是fire-and-forget样式,但调用大量的insert()会导致严重的写入锁争用.这可能会影响应用程序性能,并阻止读者聚合/过滤存储的日志.
一种解决方案可能是使用日志收集器框架,例如Fluentd,Logstash或Flume.这些守护进程应该在每个应用程序节点上启动,并从应用程序进程获取日志. 它们缓冲日志并异步地将数据写入其他系统,如MongoDB / PostgreSQL /等.编写是通过批处理完成的,因此它比直接从应用程序编写要高效得多.此链接描述如何将日志从Python程序放入Fluentd. > Fluentd: Data Import from Python Applications 这里有一些关于MongoDB Fluentd的教程. > Fluentd + MongoDB: The Easiest Way to Log Your Data Effectively在10gen博客上 （编辑：李大同） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |