推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 2687 天前的主题，其中的信息可能已经有所发展或是发生改变。
假设内容页文字和图片都有。
 |
1
cxbig 2017-07-25 05:50:28 +08:00
这么开放的问题叫人怎么回答…
哪个网站？什么工具？什么带宽？手上有多少 IP ？制约因素太多了… |
 |
2
binux 2017-07-25 06:29:02 +08:00
就我呆过的公司
10 分钟到 100 毫秒不等 |
 |
4
xiayibu OP 如果是拨号 VPS 这种，开进程会不会被封
|
 |
5
ericbize 2017-07-25 07:52:49 +08:00 via iPhone
上次 1 核 1g 的阿里云，单线程程序 爬了 10w 张几 k 的图 用了一晚上。 其实不用介意用了多久，只要程序没毛病，晚上一开白天醒来就差不多了。
|
 |
6
am241 2017-07-25 08:07:53 +08:00 via Android
爬福利，不想被封，也不想对目标站造成压力，爬了一晚上
|
 |
7
est 2017-07-25 08:39:20 +08:00
写爬虫不加上 sleep(5) 也敢号称分布式爬虫？
|
 |
8
caijihui11 2017-07-25 08:58:55 +08:00
怎么爬福利啊，透露下
|
 |
12
pcdRob 2017-07-25 09:12:22 +08:00
几分钟
|
 |
13
calpamomo 2017-07-25 09:41:48 +08:00
看网速
|
 |
14
jugelizi 2017-07-25 09:49:50 +08:00
10s 抓完
然后发现全是脏数据 |
 |
15
XiaoFaye 2017-07-25 09:54:13 +08:00
@faceair 百度的蜘蛛的速度我不怀疑，问题是人家的 Web Server 慢你也没办法是吧？本机 Ping 也要 0.0X 毫秒一次，一个 web 请求怎么也不会比这个快吧？ 100 毫秒 1 万个有点悬呀。
|
 |
17
ReisenZ 2017-07-25 10:48:37 +08:00 via Android
抓过漫画站…因为是自己看就慢慢抓了…几个小时吧…
|
 |
18
xiaomacai 2017-07-25 10:54:17 +08:00
1s+，是不是可以 DDoS 了
|
|
19
xiayibu OP 几秒的那是爬取网页吗，跟攻击网站没有区别啊
|
 |
20
linus3389 2017-07-25 15:05:55 +08:00
ssd，或者 redis，下行 10m/s
不要眨眼哦 |
 |
21
4ever911 2017-07-25 15:23:54 +08:00
看大小吧， 我本机上写的程序， 抓股票数据，3000 多只股票，3 种时间数据， 算下来差不多 1w 个请求， 用 gevent，30 秒左右全部拿下来， 下载的数据打包有 200 多 mb， 我家 100MB 带宽。要是整个分布式的，那就更快了。
|
 |
23
WoodenRobot 2017-07-25 17:17:37 +08:00
@jugelizi 一开口就知道老江湖了。
|
Select Language