scrapy-splash 突然全部都连接超时。有哪位大佬遇见过这种情况

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 2136 天前的主题，其中的信息可能已经有所发展或是发生改变。

超时

遇见

大佬

连接

12 条回复 • 2019-01-24 17:05:33 +08:00

ranlele

2019-01-21 15:14:45 +08:00

有大佬吗

ranlele

2019-01-21 16:43:13 +08:00

没大佬们遇到这种问题吗

meik2333

2019-01-21 16:47:54 +08:00 via Android

突然全部连接超时，情况有很多的啊。可能是触发网站防火墙了，可能你网络波动了，可能对方网站突然 GG 了。

你可以考虑贴个报错信息出来。

ranlele

2019-01-21 19:21:59 +08:00

我爬取很多个不同网站，不只是一个网站。同时都是连接超时、

15399905591

2019-01-22 10:41:18 +08:00

你是不是推送了太多请求队列了，scrapy-splash 是异步的，它的超时计算是按你发起的请求时间就计算的，比如你发起 1W 个请求，超时时间 10S，当处理到 1000 条时已经达到了 10S，那后面 9000 条全部会返回 timeout

ranlele

2019-01-23 11:56:03 +08:00

@15399905591 有没有什么解决办法啊。

15399905591

2019-01-23 18:15:00 +08:00

控制频率啊，或者添加多个 scrapy-splash 做个负载均衡，然后调整一下你的 scrapy-splash 配置。

ranlele

2019-01-24 08:49:43 +08:00

@15399905591 就是每一个 spider 都各自配一个 scrapy-splash 吗。假如各自都配一个还是连接超时的话。有没有办法让一个 spider 使用多个 scrapy-splash。在配置的时候不都是在 settings 里面加一个端口号么

15399905591

2019-01-24 09:28:46 +08:00

你可以考虑配置一个 scrapy-splash+haproxy 搭建一个集群就行了。但是还是看你的频率，如果频率过高的话，使用 scrapy-splash 其实并不合适。你应该考虑直接研究具体的请求。

ranlele

2019-01-24 10:50:19 +08:00

@15399905591 这个频率大概是多少啊可以自己设置吗。

ranlele

2019-01-24 16:46:04 +08:00

@15399905591 如果全部都超时了，只能重启系统吗？

15399905591

2019-01-24 17:05:33 +08:00

@ranlele 你现在的请求量是多大呢？超时了只是因为推送请求的效率大于处理请求的效率，你把速度降下来，等堆积的任务处理完就好了啊