python - 协程
一,引入学习了线程、进程的概念,了解了在操作系统中进程是资源分配的最小单位,线程是CPU调度的最小单位。按道理来说我们已经算是把cpu的利用率提高很多了。但是我们知道无论是创建多进程还是创建多线程来解决问题,都要消耗一定的时间来创建进程、创建线程、以及管理他们之间的切换。 随着我们对于效率的追求不断提高,基于单线程来实现并发又成为一个新的课题,即只用一个主线程(很明显可利用的cpu只有一个)情况下实现并发。这样就可以节省创建线进程所消耗的时间。 为此我们需要先回顾下并发的本质:切换+保存状态 ? cpu正在运行一个任务,会在两种情况下切走去执行其他的任务(切换由操作系统强制控制),一种情况是该任务发生了阻塞,另外一种情况是该任务计算的时间过长 ? ps:在介绍进程理论时,提及进程的三种执行状态,而线程才是执行单位,所以也可以将上图理解为线程的三种状态? ?一:其中第二种情况并不能提升效率,只是为了让cpu能够雨露均沾,实现看起来所有任务都被“同时”执行的效果,如果多个任务都是纯计算的,这种切换反而会降低效率。 为此我们可以基于yield来验证。yield本身就是一种在单线程下可以保存任务运行状态的方法,我们来简单复习一下: <span style="color: #0000ff;">def <span style="color: #000000;"> producer():<span style="color: #800000;">'''<span style="color: #800000;">任务2:生产数据<span style="color: #800000;">'''<span style="color: #000000;"> res=<span style="color: #000000;">[] <span style="color: #0000ff;">for i <span style="color: #0000ff;">in range(10000000<span style="color: #000000;">): res.append(i) <span style="color: #0000ff;">return<span style="color: #000000;"> res start=<span style="color: #000000;">time.time() <span style="color: #008000;">#<span style="color: #008000;">基于yield并发执行 <span style="color: #0000ff;">def<span style="color: #000000;"> producer(): start=<span style="color: #000000;">time.time() <span style="color: #008000;">PS:如果每个任务中都加上打印,那么明显地看到两个任务的打印是你一次我一次,即并发执行的.<span style="color: #000000;">producer() stop=<span style="color: #000000;">time.time() 二:第一种情况的切换。在任务一遇到io情况下,切到任务二去执行,这样就可以利用任务一阻塞的时间完成任务二的计算,效率的提升就在于此。 <div class="cnblogs_code" onclick="cnblogs_code_show('509b97a0-18ca-4529-b06a-1f71298c3c21')"> ==<span style="color: #000000;">time.time() producer() <span style="color: #008000;">#<span style="color: #008000;">并发执行,但是任务producer遇到io就会阻塞住,并不会切到该线程内的其他任务去执行 <span style="color: #000000;"> stop=<span style="color: #000000;">time.time() <span style="color: #0000ff;">print(stop-start) 对于单线程下,我们不可避免程序中出现io操作,但如果我们能在自己的程序中(即用户程序级别,而非操作系统级别)控制单线程下的多个任务能在一个任务遇到io阻塞时就切换到另外一个任务去计算,这样就保证了该线程能够最大限度地处于就绪态,即随时都可以被cpu执行的状态,相当于我们在用户程序级别将自己的io操作最大限度地隐藏起来,从而可以迷惑操作系统,让其看到:该线程好像是一直在计算,io比较少,从而更多的将cpu的执行权限分配给我们的线程。 ? ? 协程的本质就是在单线程下,由用户自己控制一个任务遇到io阻塞了就切换另外一个任务去执行,以此来提升效率。为了实现它,我们需要找寻一种可以同时满足以下条件的解决方案: 二,协程介绍?协程:是单线程下的并发,又称微线程,纤程。英文名Coroutine。一句话说明什么是线程:协程是一种用户态的轻量级线程,即协程是由用户程序自己控制调度的。 需要强调的是: 对比操作系统控制线程的切换,用户在单线程内控制协程的切换 优点: 缺点: 总结协程特点:
三,Grennlet 模块安装 :pip3 install greenlet greenlet <span style="color: #0000ff;">def<span style="color: #000000;"> eat(name):
<span style="color: #0000ff;">print(<span style="color: #800000;">'<span style="color: #800000;">%s eat 1<span style="color: #800000;">' %<span style="color: #000000;">name) g2.switch(<span style="color: #800000;">'<span style="color: #800000;">egon<span style="color: #800000;">'<span style="color: #000000;">) <span style="color: #0000ff;">print(<span style="color: #800000;">'<span style="color: #800000;">%s eat 2<span style="color: #800000;">' %<span style="color: #000000;">name) g2.switch() <span style="color: #0000ff;">def<span style="color: #000000;"> play(name): <span style="color: #0000ff;">print(<span style="color: #800000;">'<span style="color: #800000;">%s play 1<span style="color: #800000;">' %<span style="color: #000000;">name) g1.switch() <span style="color: #0000ff;">print(<span style="color: #800000;">'<span style="color: #800000;">%s play 2<span style="color: #800000;">' %<span style="color: #000000;">name) g1=<span style="color: #000000;">greenlet(eat) g1.switch(<span style="color: #800000;">'<span style="color: #800000;">deng<span style="color: #800000;">')<span style="color: #008000;">#<span style="color: #008000;">可以在第一次switch时传入参数,以后都不需要 单纯的切换(在没有io的情况下或者没有重复开辟内存空间的操作),反而会降低程序的执行速度
=1
i range(100000000+=<span style="color: #0000ff;">def<span style="color: #000000;"> f2():
res=1 <span style="color: #0000ff;">for i <span style="color: #0000ff;">in range(100000000<span style="color: #000000;">): res*=<span style="color: #000000;">i start =<span style="color: #000000;">time.time()f1() f2() stop=<span style="color: #000000;">time.time() <span style="color: #0000ff;">print(<span style="color: #800000;">'<span style="color: #800000;">run time is %s<span style="color: #800000;">' %(stop-start)) <span style="color: #008000;">#<span style="color: #008000;">10.985628366470337 <span style="color: #008000;">#<span style="color: #008000;">切换 <span style="color: #0000ff;">def<span style="color: #000000;"> f2(): start=<span style="color: #000000;">time.time() greenlet只是提供了一种比generator更加便捷的切换方式,当切到一个任务执行时如果遇到io,那就原地阻塞,仍然是没有解决遇到IO自动切换来提升效率的问题。 单线程里的这20个任务的代码通常会既有计算操作又有阻塞操作,我们完全可以在执行任务1时遇到阻塞,就利用阻塞的时间去执行任务2。。。。如此,才能提高效率,这就用到了Gevent模块。 四,Gevent模块安装:pip3 install gevent Gevent 是一个第三方库,可以轻松通过gevent实现并发同步或异步编程,在gevent中用到的主要模式是Greenlet,它是以C扩展模块形式接入Python的轻量级协程。 Greenlet全部运行在主程序操作系统进程的内部,但它们被协作式地调度。 g1=gevent.spawn(func,1,2,3,x=4,y=5g2=<span style="color: #000000;">gevent.spawn(func2)
g1.join() <span style="color: #008000;">#<span style="color: #008000;">等待g1结束 <span style="color: #008000;">#<span style="color: #008000;">或者上述两步合作一步:gevent.joinall([g1,g2]) ( %2( %<span style="color: #0000ff;">def<span style="color: #000000;"> play(name):
<span style="color: #0000ff;">print(<span style="color: #800000;">'<span style="color: #800000;">%s play 1<span style="color: #800000;">' %<span style="color: #000000;">name) gevent.sleep(1<span style="color: #000000;">) <span style="color: #0000ff;">print(<span style="color: #800000;">'<span style="color: #800000;">%s play 2<span style="color: #800000;">' %<span style="color: #000000;">name) g1 =gevent.spawn(eat,<span style="color: #800000;">'<span style="color: #800000;">deng<span style="color: #800000;">'<span style="color: #000000;">)g2=gevent.spawn(play,name=<span style="color: #800000;">'<span style="color: #800000;">deng<span style="color: #800000;">'<span style="color: #000000;">) g1.join() g2.join() <span style="color: #008000;">#<span style="color: #008000;">或者gevent.joinall([g1,g2]) <span style="color: #0000ff;">print(<span style="color: #800000;">'<span style="color: #800000;">主<span style="color: #800000;">') 上例gevent.sleep(2)模拟的是gevent可以识别的io阻塞,而time.sleep(2)或其他的阻塞,gevent是不能直接识别的需要用下面一行代码,打补丁,就可以识别了 from gevent import monkey;monkey.patch_all()必须放到被打补丁者的前面,如time,socket模块之前 或者我们干脆记忆成:要用gevent,需要将from gevent import monkey;monkey.patch_all()放到文件的开头 gevent <span style="color: #0000ff;">import<span style="color: #000000;"> gevent
<span style="color: #0000ff;">import<span style="color: #000000;"> time <span style="color: #0000ff;">def<span style="color: #000000;"> eat(): <span style="color: #0000ff;">print(<span style="color: #800000;">'<span style="color: #800000;">eat food 1<span style="color: #800000;">'<span style="color: #000000;">) time.sleep(2<span style="color: #000000;">) <span style="color: #0000ff;">print(<span style="color: #800000;">'<span style="color: #800000;">eat food 2<span style="color: #800000;">'<span style="color: #000000;">) <span style="color: #0000ff;">def<span style="color: #000000;"> play(): g1=<span style="color: #000000;">gevent.spawn(eat) 我们可以用threading.current_thread().getName()来查看每个g1和g2,查看的结果为DummyThread-n,即假线程 gevent (2(<span style="color: #0000ff;">def<span style="color: #000000;"> play():
<span style="color: #0000ff;">print<span style="color: #000000;">(threading.current_thread().getName()) <span style="color: #0000ff;">print(<span style="color: #800000;">'<span style="color: #800000;">play 1<span style="color: #800000;">'<span style="color: #000000;">) time.sleep(1<span style="color: #000000;">) <span style="color: #0000ff;">print(<span style="color: #800000;">'<span style="color: #800000;">play 2<span style="color: #800000;">'<span style="color: #000000;">) g1 =<span style="color: #000000;">gevent.spawn(eat)g2=<span style="color: #000000;">gevent.spawn(play) gevent.joinall([g1,g2]) <span style="color: #0000ff;">print(<span style="color: #800000;">'<span style="color: #800000;">主<span style="color: #800000;">') Gevent之同步与异步 gevent <span style="color: #0000ff;">import<span style="color: #000000;"> time
<span style="color: #0000ff;">def<span style="color: #000000;"> task(pid): <span style="color: #800000;">"""<span style="color: #800000;"> Some non-deterministic task <span style="color: #800000;">"""<span style="color: #000000;"> time.sleep(0.5<span style="color: #000000;">) <span style="color: #0000ff;">print(<span style="color: #800000;">'<span style="color: #800000;">Task %s done<span style="color: #800000;">' %<span style="color: #000000;"> pid) <span style="color: #0000ff;">def synchronous(): <span style="color: #008000;">#<span style="color: #008000;"> 同步 <span style="color: #0000ff;">def asynchronous(): <span style="color: #008000;">#<span style="color: #008000;"> 异步 <span style="color: #0000ff;">if <span style="color: #800080;">name == <span style="color: #800000;">'<span style="color: #800000;">main<span style="color: #800000;">'<span style="color: #000000;">: <span style="color: #008000;"> 初始化的greenlet列表存放在数组threads中,此数组被传给gevent.joinall 函数,<span style="color: #008000;"><span style="color: #008000;"> 后者阻塞当前流程,并执行所有给定的greenlet任务。执行流程只会在 所有greenlet执行完后才会继续向下走。Gevent之应用举例一 gevent <span style="color: #0000ff;">def<span style="color: #000000;"> get_page(url):
<span style="color: #0000ff;">print(<span style="color: #800000;">'<span style="color: #800000;">GET: %s<span style="color: #800000;">' %<span style="color: #000000;">url) response=<span style="color: #000000;">requests.get(url) <span style="color: #0000ff;">if response.status_code == 200<span style="color: #000000;">: <span style="color: #0000ff;">print(<span style="color: #800000;">'<span style="color: #800000;">%d bytes received from %s<span style="color: #800000;">' %<span style="color: #000000;">(len(response.text),url)) start_time=<span style="color: #000000;">time.time() Genvent之应用举例二通过gevent实现单线程下的socket并发 注意 :from gevent import monkey;monkey.patch_all()一定要放到导入socket模块之前,否则gevent无法识别socket的阻塞 gevent socket *
<span style="color: #008000;">#<span style="color: #008000;">如果不想用money.patch_all()打补丁,可以用gevent自带的socket<span style="color: #008000;">
<span style="color: #008000;"> from gevent import socket<span style="color: #008000;">
<span style="color: #008000;"> s=socket.socket()
<span style="color: #0000ff;">def<span style="color: #000000;"> server(server_ip,port): <span style="color: #0000ff;">def<span style="color: #000000;"> talk(conn,addr): <span style="color: #0000ff;">if <span style="color: #800080;">name == <span style="color: #800000;">'<span style="color: #800000;">main<span style="color: #800000;">'<span style="color: #000000;">: socket *client=<span style="color: #000000;">socket(AF_INET,SOCK_STREAM)
client.connect((<span style="color: #800000;">'<span style="color: #800000;">127.0.0.1<span style="color: #800000;">',8080<span style="color: #000000;">)) <span style="color: #0000ff;">while<span style="color: #000000;"> True:
threading socket *
<span style="color: #0000ff;">def<span style="color: #000000;"> client(server_ip,port):
c=socket(AF_INET,SOCK_STREAM) <span style="color: #008000;">#<span style="color: #008000;">套接字对象一定要加到函数内,即局部名称空间内,放在函数外则被所有线程共享,则大家公用一个套接字对象,那么客户端端口永远一样了 <span style="color: #000000;"> c.connect((server_ip,port))
<span style="color: #0000ff;">if <span style="color: #800080;">name == <span style="color: #800000;">'<span style="color: #800000;">main<span style="color: #800000;">'<span style="color: #000000;">:<span style="color: #0000ff;">for i <span style="color: #0000ff;">in range(500<span style="color: #000000;">): t=Thread(target=client,args=(<span style="color: #800000;">'<span style="color: #800000;">127.0.0.1<span style="color: #800000;">',8080<span style="color: #000000;">)) t.start() (编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |