【Python】多进程的进程池pool运行时报错：ValueError: Pool not

发布时间：2020-12-17 01:23:10 所属栏目：Python 来源：网络整理

导读：span style="color:rgb(51,51,51);font-family:'-apple-system','Helvetica Neue',Helvetica,Arial,'PingFang SC','Hiragino Sans GB','WenQuanYi Micro Hei','Microsoft Yahei',sans-serif;font-size:14px;" span style="font-size:14px;"【笔记】这个问题

【笔记】
这个问题的根源在于：pool.close()提前生效，关闭了pool。所以提示pool没有运行。
=============================================
我刚接触python爬虫，所以有些地方不是很懂。
我最近写了一个python爬虫，作用是从一个动漫网站上爬图片。
由于一张一张下载太慢，我用了并发的方法Pool。

<pre class="hljs stylus" style="overflow:auto;font-family:'Source Code Pro',Consolas,Menlo,Monaco,'Courier New',monospace;font-size:.93em;line-height:1.45;color:rgb(51,51);border:none;"><code style="font-family:'Source Code Pro',monospace;font-size:1em;color:inherit;background:none;">p = Pool(10)
for key in dd.keys():
createDirs(key)//创建目录
urls = img_url(dd[key])//返回图片地址
for index,url in enumerate(urls):
patch = '{}/{}.jpg'.format(key,index)
if(url in didload)://判断是否已经载过
print(patch,'下载过了')
else:
url = p.apply_async(dowload_img,args=(url,patch))//下载图片
if url:
didload.append(url)//将已下载的地址保存
p.close()
p.join()下载图片的代码如下：

<code class="language-python"><code style="font-family:'Source Code Pro',monospace;font-size:1em;color:inherit;background:none;"><span class="hljs-function"><span class="hljs-keyword" style="font-weight:bold;">def <span class="hljs-title" style="color:rgb(153,0);font-weight:bold;">dowload_img<span class="hljs-params">(url,name):

content2 = str()

driver = webdriver.PhantomJS()

driver.get(url)

time.sleep(<span class="hljs-number" style="color:rgb(0,128);">3)

pageSource = driver.page_source

bsobj = BeautifulSoup(pageSource,68);">"html5lib")

driver.close()

nameList = bsobj.findAll(<span class="hljs-string" style="color:rgb(221,68);">'img',{<span class="hljs-string" style="color:rgb(221,68);">'id':re.compile(<span class="hljs-string" style="color:rgb(221,68);">'img(0-9)*')})

imgurl = nameList[<span class="hljs-number" style="color:rgb(0,128);">0][<span class="hljs-string" style="color:rgb(221,68);">'src']

print(time.strftime( <span class="hljs-string" style="color:rgb(221,68);">'%Y-%m-%d %X',time.localtime() ),68);">':正在下载',name)

<span class="hljs-keyword" style="font-weight:bold;">try:

content2 = urlopen(imgurl).read()

print(time.strftime( <span class="hljs-string" style="color:rgb(221,name,68);">'下载完成')

<span class="hljs-comment" style="color:rgb(153,136);"># return  (content2)

<span class="hljs-keyword" style="font-weight:bold;">except:

<span class="hljs-string" style="color:rgb(221,68);">'''记录出错的url'''

print(time.strftime( <span class="hljs-string" style="color:rgb(221,68);">'下载出错')

<span class="hljs-keyword" style="font-weight:bold;">with open(<span class="hljs-string" style="color:rgb(221,68);">'errorurl.txt',68);">'w') <span class="hljs-keyword" style="font-weight:bold;">as ff:

ff.write(imgurl)

<span class="hljs-comment" style="color:rgb(153,136);"># return  None

<span class="hljs-keyword" style="font-weight:bold;">finally:

<span class="hljs-keyword" style="font-weight:bold;">with open(name,68);">'wb') <span class="hljs-keyword" style="font-weight:bold;">as pp:

pp.write(content2)

<span class="hljs-string" style="color:rgb(221,68);">'''记录已下载url'''

print(<span class="hljs-string" style="color:rgb(221,68);">'记录',name)

<span class="hljs-keyword" style="font-weight:bold;">return (url)

现在遇到两个问题：
1、如果运行代码的时候，刚好碰到已下载的，就不会再下载。一般连续两个目录也就是差不错70张左右不用下载的时候，程序就崩溃了。报ValueError: Pool not running错误。
2、我用KeyboardInterrupt捕捉中断，但是用了Pool以后就不起作用了

<pre class="hljs vim" style="overflow:auto;font-family:'Source Code Pro',monospace;font-size:1em;color:inherit;background:none;"> except KeyboardInterrupt:
print('运行中断ctrl+c')
with open('didload.txt',68);">'w') as ff:
ff.write(','.join(didload))可以捕捉到KeyboardInterrupt，但是后面的代码没有运行，程序也不会完全中断。

请高手指点一下，谢谢~~

解决：

<pre class="hljs stylus" style="overflow:auto;font-family:'Source Code Pro',monospace;font-size:1em;color:inherit;background:none;">p.close()
p.join()不该写在最外层么？为什么写在?<code style="font-family:'Source Code Pro',monospace;font-size:.93em;color:rgb(199,37,78);background-color:rgb(249,242,244);">for key in dd.keys():?里面？

转自:https://segmentfault.com/q/1010000011398851

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!