python 下有什么好用的多进程并发框架么

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 2746 天前的主题，其中的信息可能已经有所发展或是发生改变。

写了个爬虫但只是单进程的想开多进程具体要求就是可以自动协商不重复不要开 100 个进程回头输出了 100 份完全一样的结果

进程

爬虫

Python

好用

12 条回复 • 2016-10-18 12:12:07 +08:00

Livid

MOD

2016-10-18 10:43:15 +08:00

http://python-rq.org/

soulmine

2016-10-18 10:45:35 +08:00

@Livid 谢谢我去看看 doc

ericls

2016-10-18 10:50:39 +08:00 via iPhone

asyncio

clino

2016-10-18 10:53:10 +08:00

也可以用协程吧,如果非 cpu 密集型的话

9hills

2016-10-18 10:54:28 +08:00

multiprocess 就行

soulmine

2016-10-18 10:56:20 +08:00

@9hills 这要在爬虫里面写啊懒得去写 multiprocessing

soulmine

2016-10-18 10:56:57 +08:00

@clino 只要能满足条件其实无所谓的爬虫肯定是受限于网络和 Io 的问题

soulmine

2016-10-18 10:57:31 +08:00

@ericls 然而我用的 2.7....

Nostalgia

2016-10-18 11:04:56 +08:00

推荐 concurrent.futures ，支持多进程 /多线程，且封装的接口一致；抽象的程度比 threading, multiprocessing 更高些。

ericls

2016-10-18 11:09:53 +08:00 via iPhone

asyncio 有 back port 吧

另外楼上说的 promise 写起来也挺舒服的

要注意 process pool executor 必须要 picklable

shyling

2016-10-18 11:40:42 +08:00

concurrent.futures ， MultiThreadPool

reyno

2016-10-18 12:12:07 +08:00 via iPhone

直接上 gevent