首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python 学习手册
Python Cookbook
Python 基础教程
Python Sites
PyPI - Python Package Index
http://www.simple-is-better.com/
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
拉钩
V2EX  ›  Python

爬虫程序爬着爬着就假死了,也不抛异常,就一直卡在那里,怎么搞

  •  
  •   wsds · 242 天前 · 2958 次点击
    这是一个创建于 242 天前的主题,其中的信息可能已经有所发展或是发生改变。
    21 回复  |  直到 2018-04-18 12:46:40 +08:00
        1
    xiayun   242 天前
    设置 timeout ?
        2
    wcsjtu   242 天前
    多 print, 看卡在哪了。。。
        3
    crisewng   242 天前
    你代码也不发 让我们怎么猜。。。。
        4
    John60676   242 天前   ♥ 10
    接楼上,我猜是爬虫累了
        5
    PythonAnswer   242 天前 via iPhone
    栈溢出
        6
    xrlin   242 天前   ♥ 1
    爬虫:爬了这么久,是该歇歇了。
        7
    onepunch   242 天前
    多线程死锁?
        8
    lan5635   242 天前
    服务器被你爬趴下了?
        9
    lusi1990   242 天前 via Android
    阻塞了, 链接池释放了吗,设置 timeout 了吗
        10
    jimmyczm   242 天前
    可能虫子被小鸟吃了
        11
    yxwzaxns   242 天前 via iPhone
    开 ssh,我去看看
        12
    Ginson   242 天前
    很大可能是请求阻塞了
        13
    v2410117   242 天前
    爬虫:我休息一下不行?换你一直爬试试?
        14
    dengshuang   242 天前
    用 print 方法检查,那个地方卡了。每个函数下都放个 print.
        15
    dingling136   241 天前
    1 楼说的对,很大可能没有设置 timeout。
    另外可以加杀死进程的代码。在下一次启动任务时,先执行一下杀死进程。注意 2 个 crontab
        16
    lookwi   241 天前 via iPhone
    爬虫:我有自己的想法了,我要看小电影,歇一会
        17
    okzpy9425   241 天前
    只说自己爬虫程序卡死了,也不说自己具体使用的是什么技术。。也不贴代码,这让人怎么给你分析?

    大多数原因都是阻塞在了某个链接上,如果你使用 python 的协程 处理不好的话很容易卡死的。
        18
    anywalker707   241 天前
    被一只早起的鸟,吃了
        19
    xiangR   241 天前
    可以看一下,是不是卡在打 log 上了。我曾经碰到过,将所有 log 配置都去除,只有在抛异常的时候再打 log
        20
    qingshan16   241 天前
    当然是等它复活啊
        21
    kongkongyzt   241 天前 via Android
    记得 close connection
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   936 人在线   最高记录 4019   ·  
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.1 · 20ms · UTC 23:55 · PVG 07:55 · LAX 15:55 · JFK 18:55
    ♥ Do have faith in what you're doing.
    沪ICP备16043287号-1