首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python 学习手册
Python Cookbook
Python 基础教程
Python Sites
PyPI - Python Package Index
http://www.simple-is-better.com/
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
V2EX  ›  Python

有哪些常用的爬虫工具?

  •  
  •   Kirikora · 2017-12-28 08:44:27 +08:00 via Android · 4202 次点击
    这是一个创建于 658 天前的主题,其中的信息可能已经有所发展或是发生改变。

    比方说,有哪些好用的 http 抓包工具? chrome 的 f12 在遇到跳转的时候就会刷新了,不开心。

    25 回复  |  直到 2017-12-28 23:46:42 +08:00
        1
    Akkuman   2017-12-28 08:45:20 +08:00 via Android
    。。你不会用 chrome 的调试,我只能这么说
        2
    Akkuman   2017-12-28 08:45:47 +08:00 via Android
    有保留的选项
        3
    lzhd24   2017-12-28 08:45:49 +08:00 via Android
    fiddler
        4
    Kirikora   2017-12-28 08:47:21 +08:00 via Android
    @Akkuman 没。。没有找到,抱歉。用的还很不熟练
        5
    nazor   2017-12-28 08:47:33 +08:00 via iPhone   ♥ 1
    有个选项是 preserve log
        6
    Kirikora   2017-12-28 08:47:40 +08:00 via Android
    @lzhd24 谢谢~
        7
    Kirikora   2017-12-28 08:51:57 +08:00 via Android
    @nazor 谢谢~ 我竟然没有注意到。。(捂脸
        9
    Kirikora   2017-12-28 09:07:37 +08:00 via Android
    @omph 好。。好的 虽然我只是想知道一些好用的小工具而已
        10
    anasplrt34   2017-12-28 09:48:28 +08:00
    其实 chrome 的不如 firefox 好用 后者至少是彩色的 www
        11
    RadishWind   2017-12-28 09:54:08 +08:00
    @nazor 谢谢
        12
    alen   2017-12-28 09:56:51 +08:00
    没点进来想到的是 scrapy,点进来看后想到了 fiddler、Wireshark ( 逃
        13
    golmic   2017-12-28 09:58:06 +08:00
    楼上+1
        14
    boneyao   2017-12-28 10:03:12 +08:00   ♥ 1
    chrome://net-internals/#events
        15
    scriptB0y   2017-12-28 10:03:37 +08:00   ♥ 2
    再贴一下…… 推荐几个 https://www.kawabangga.com/posts/2365
        16
    scriptB0y   2017-12-28 10:04:02 +08:00
    @alen 工具 不是框架
        17
    ivechan   2017-12-28 10:12:41 +08:00
    @lzhd24 #3 之前不是叫 fiddler2 的吗? 怎么 2 没了?
        18
    Kirikora   2017-12-28 10:20:12 +08:00 via Android
    @scriptB0y 对对对,我就想要知道这种工具,谢谢~
        19
    rayjoy   2017-12-28 11:00:12 +08:00
    @scriptB0y 看了,不错,感谢推荐。
        20
    Flobit   2017-12-28 11:04:41 +08:00 via Android
    chrome 就够了,实在不行就 fiddler
        21
    j717273419   2017-12-28 15:10:32 +08:00


    我也是才知道原来 F12 里边有个选项'Preserve log'可以保留日志
        22
    Ehco1996   2017-12-28 16:07:08 +08:00
    厚脸皮的推荐一下自己的写的 lazyspider
    https://www.v2ex.com/t/416035
        23
    luzihang   2017-12-28 17:09:30 +08:00
    Charles
        24
    Kirikora   2017-12-28 23:00:45 +08:00
    @Ehco1996 支持~
        25
    ProkillerJ   2017-12-28 23:46:42 +08:00 via iPhone
    burpsuite,会不会有点大材小用
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   933 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 23ms · UTC 21:40 · PVG 05:40 · LAX 14:40 · JFK 17:40
    ♥ Do have faith in what you're doing.