学习第十八天

浏览: 1136

粗略看下,没看懂~~~


进程和线程

操作系统的相关知识:

Unix/Linux 操作系统提供了一个fork()系统调用,它非常特殊,普通函数调用,调用一次,返回一次,但fork()调用一次,返回两次,因为操作系统自动把当前进程(父进程)复制了一份(子进程),然后,分别在父进程和子进程内返回。

子进程永远返回0,而父进程返回子进程的ID。这样做的理由是,一个父进程可以fork出很多子进程,所以,父进程要记下每个子进程的ID,而子进程只需要调用getppid()就可以拿到父进程的ID.

Python的os模块封装了常见的系统调用,其中就包括fork,可以在Python程序中轻松创建子进程,由于Windows没有fork调用,上面的代码在Windows上无法运行。由于Mac系统是基于BSD(Unix的一种)内核,所以,在Mac下运行就没有问题。

有了fork的调用,一个进程在接到新任务时就可以复制出一个子进程来处理新任务,常见的Apache服务器就是由父进程监听端口,每当有新的http请求时,就fork出子进程来处理新的http请求。


multiprocessing

Unix/Linux适合编写多进程,Windows没有fork调用,就无法用Python编写多编程了吗。

自然不是,Python是跨平台的,自然有多进程支持。multiprocessing模块就是跨平台版本的多进程模块。

multiprocessing模块提供了一个Process类来代表一个进程对象。

创建子进程时,只需要传入一个执行函数和函数的参数,创建一个Process实例,用start()方法启动,这样创建进程比fork()还要简单。

join()方法可以等待子进程结束后再继续往下执行,通常用于进程间的同步。


Pool

如果要启动大量的子进程,可以用进程池的方式批量创建子进程:

对Pool对象调用join()方法会等待所有子程序执行完毕,调用join()之前必须先调用close(),调用close()之后就不能继续添加新的Process了。

注意:在输出结果时候,task1,2,3,是立刻执行的,而task4要等待前面某个task完成后才执行,这就是因为Pool的默认大小是电脑的4,所以,只能同时执行4个进程,这是Pool有意设计的限制,并不是操作系统的限制,可以改成同时跑5个进程。

由于Pool的默认大小是CPU的核数,如果你有8核CPU,你要至少提交9个子进程才能看到上面的等待效果。


子进程

很多时候,子进程并不是自身,而是一个外部进程。我们创建了子进程后,还需要控制子进程的输入和输出。

subprocess模块可以让我们非常方便的启动一个子进程,然后控制其输入和输出。


进程间的通信

Process之间是需要通信的,操作系统提供了很多机制来实现进程间的通信。Python的multiprocessing模块包装了底层的机制,提供了Queue、Pipes等多种方式交换数据。

在Unix/Linux下,multiprocessing模块封装了fork()调用,使我们不需要关注fork()的效果,父进程所有Python对象都必须通过pickly序列化在传入到子进程中,所以,如果multiprocessing在Windows下调用失败了,要先考虑是不是pickly失败了。


推荐 0
本文由 小白学Python 创作,采用 知识共享署名-相同方式共享 3.0 中国大陆许可协议 进行许可。
转载、引用前需联系作者,并署名作者且注明文章出处。
本站文章版权归原作者及原出处所有 。内容为作者个人观点, 并不代表本站赞同其观点和对其真实性负责。本站是一个个人学习交流的平台,并不用于任何商业目的,如果有任何问题,请及时联系我们,我们将根据著作权人的要求,立即更正或者删除有关内容。本站拥有对此声明的最终解释权。

0 个评论

要回复文章请先登录注册