这是一个创建于 3445 天前的主题，其中的信息可能已经有所发展或是发生改变。
单页面抓取毋庸置疑差不多，但涉及大量URL需要访问的时候：JAVA的爬虫框架轻松实现多线程；PHP有框架能够这样吗？不行的话我就得自己写multi_curl....
 |
1
laoyuan 2015-07-19 12:33:19 +08:00
看过一篇百度团队的文档，PHP 的真 multi curl
|
 |
2
chengzhoukun 2015-07-19 12:37:29 +08:00 via Android
Python和go很好吧，用协程库
|
 |
3
shierji 2015-07-19 13:36:33 +08:00
表示最近要爬google。。。。还要刻意限制速度的说。
|
 |
4
wkdhf233 2015-07-19 13:51:18 +08:00
多开几个socket，先把所有请求发完再去处理返回
|
 |
5
msg7086 2015-07-19 15:11:41 +08:00
php轻松实现多进程。
|
 |
6
haiyang416 2015-07-19 15:48:02 +08:00 via Android
Rolling cURL。
|
 |
7
zts1993 2015-07-19 19:47:55 +08:00 via iPhone
python更好。
|
 |
8
mahone3297 2015-07-19 20:49:19 +08:00
php可以多进程
也可以多线程 http://php.net/manual/en/intro.pthreads.php |
 |
9
orvice 2015-07-19 21:17:56 +08:00
多线程还是go写吧。。。
|
 |
10
Comdex 2015-07-19 21:40:50 +08:00
golang很妥当
|
Select Language