V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
Hiyokunotori
V2EX  ›  Python

如何一键启动并监控多个 Python +requests 爬虫

  •  
  •   Hiyokunotori · 2019-06-11 20:40:09 +08:00 · 2550 次点击
    这是一个创建于 1977 天前的主题,其中的信息可能已经有所发展或是发生改变。

    我知道 scrapy 可以使用 scrapyd 来监控 可是我有很多 requests 写的爬虫该如何监控呢? 我目前的做法是在 pycharm 里一个个去运行程序 然后在 run 栏里会出来多个标签可以监控输出 或者是打开多个 cmd 每个里面 python xxxx 但是这样当电脑重启再来启动多个爬虫很麻烦 有没有好的方法或者 pycharm 现成的设置能让我配置好所有爬虫程序后一键启动并且分成多个标签让我来监控程序的输出呢?

    11 条回复    2019-08-05 15:12:49 +08:00
    ModerRAS
        1
    ModerRAS  
       2019-06-11 21:37:11 +08:00 via Android
    你可以直接写一个调用其他爬虫 main 函数的脚本,然后直接输出控制台就好了
    genius2k
        2
    genius2k  
       2019-06-12 04:22:25 +08:00
    logger
    Luxurious
        3
    Luxurious  
       2019-06-12 09:16:32 +08:00
    把 requests 爬虫分下类, 放到一个文件夹, 另外写一个脚本来管理这些文件夹下的爬虫
    fakeman
        4
    fakeman  
       2019-06-12 09:45:11 +08:00
    用 supervisor 即可
    rocketman13
        5
    rocketman13  
       2019-06-12 10:47:46 +08:00
    脚本就可以一键启动,日志管理就可以监控输出
    lowman
        6
    lowman  
       2019-06-12 11:25:48 +08:00
    进程管理工具
    tikazyq
        7
    tikazyq  
       2019-06-12 12:08:06 +08:00
    这个需求太符合 Crawlab 了! Crawlab 是分布式爬虫管理平台,非常适合爬虫任务调度、任务监控、数据分析。欢迎来试用

    Github: https://github.com/tikazyq/crawlab
    huaerxiela6
        8
    huaerxiela6  
       2019-06-12 12:29:01 +08:00
    进程管理工具
    Hiyokunotori
        9
    Hiyokunotori  
    OP
       2019-07-18 10:28:28 +08:00
    @fakeman win 的话使用什么呢。。
    fakeman
        10
    fakeman  
       2019-07-18 13:36:03 +08:00   ❤️ 1
    Hiyokunotori
        11
    Hiyokunotori  
    OP
       2019-08-05 15:12:49 +08:00
    @fakeman 十分感谢
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1213 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 18:22 · PVG 02:22 · LAX 10:22 · JFK 13:22
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.