python – 数据库存储：为什么Pipeline比Feed Export更好？
|
这是一个关于scrapy的问题. 在数据库中存储项目时,为什么通过管道而不是Feed导出机制实现常规？ Feed Exports – Output your scraped data using different formats and storages
Item Pipeline – Post-process and store your scraped data
有什么区别,两者之间的利弊,以及(为什么)管道更合适？ 谢谢 最佳答案
这是一个太迟的答案.但我只花了整整一个下午和一个晚上试图了解项目出口商和饲料出口之间的差异,这些差异很少.我认为这对仍然困惑的人会有所帮助.
TL; DR： Feed导出是scrapy.extensions.feedexport中scrapy的扩展.通过这种方式,就像scrapy中的其他扩展一样,它通过寄存器回调函数实现到一些scrapy信号(open_spider,close_spider和item_scraped),以便它可以采取必要的步骤来存储项目. 当open_spider时,FeedExporter(实际的扩展类)初始化Feed存储和项目导出器.具体步骤涉及获取类似文件的对象,该对象通常是FeedStroage中的临时文件并将其传递给ItemExporter.当item_scraped时,FeedExporter只是将预初始化的ItemExporter对象调用为export_item.当close_spider,FeedExporter在前一个FeedStorage对象上调用store方法将文件写入文件系统,上传到远程FTP服务器,上传到S3存储等. 内置的项目导出器和存储器集合在一起.但正如您可能从上面的文本中看到的那样,FeedExporter在设计上与文件存储紧密结合.使用数据库时,存储项目的常用方法是在数据被删除时将其插入数据库(或者可能需要一些缓冲区). 因此,使用数据库存储的正确方法似乎是编写自己的FeedExporter.你可以通过寄存器回调scrapy信号来实现它.但是没有必要,使用项目管道更简单,并且不需要了解这些实现细节. （编辑：李大同） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |