python – 我如何使用wget下载scrapy文件

发布时间：2020-12-16 21:55:37 所属栏目：Python 来源：网络整理

导读：scrapy没有正确下载文件.我有我的项目的URL,所以我想我可以使用wget下载文件. 如何在scrapy process_item函数中使用wget？或者,还有另一种下载文件的方式吗？ class MyImagesPipeline(ImagesPipeline): #Name download version def image_key(self,url): ima

scrapy没有正确下载文件.我有我的项目的URL,所以我想我可以使用wget下载文件.

如何在scrapy process_item函数中使用wget？或者,还有另一种下载文件的方式吗？

class MyImagesPipeline(ImagesPipeline):
    #Name download version
    def image_key(self,url):
        image_guid = url.split('/')[-1]
        return 'full/%s' % (image_guid)

    def get_media_requests(self,item,info):
        if item['image_urls']:
            for image_url in item['image_urls']:
            # wget -nH image_ul -P  images/
            yield Request(image_url)

最佳答案

此代码将执行wget,您可以使用以下行替换您的注释

import subprocess

    ...

subprocess.call(['wget','-nH',image_url,'-P  images/'])

你可以在这里阅读有关subprocess.call的内容：http://docs.python.org/2/library/subprocess.html

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!