V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
samaria
V2EX  ›  Python

Python3 爬虫框架-推荐一个自己写的爬虫框架,不知道大家觉得怎么样,初次写,大家来喷

  •  
  •   samaria · 2018-07-10 00:58:07 +08:00 · 3257 次点击
    这是一个创建于 2079 天前的主题,其中的信息可能已经有所发展或是发生改变。

    Python3 爬虫框架,技术使用在 readme 里面都写好了,大家伙看看 https://github.com/BlingBlingdevelopers/bluff,觉得哪里不好的随便喷

    6 条回复    2018-07-11 20:38:10 +08:00
    chengxiao
        1
    chengxiao  
       2018-07-10 05:42:36 +08:00
    python 感觉是最不缺爬虫框架的语言了....
    不过支持楼主 ,现有两座大山 scrapy 和 pyspider 在分布式和集群调度上不是很出彩
    期待楼主实现一个
    cheesea
        2
    cheesea  
       2018-07-10 09:52:22 +08:00
    造轮子大体有两个原因,一是学习,二是现有轮子用的不爽。不知道楼主是哪一种。
    RicardoScofileld
        3
    RicardoScofileld  
       2018-07-10 11:26:59 +08:00   ❤️ 1
    fuck 404 喷个求
    jhsunnyshine
        4
    jhsunnyshine  
       2018-07-10 16:29:51 +08:00 via Android
    楼上说的对啊,404 没法喷啊,手动滑稽
    NobodyVe2x
        5
    NobodyVe2x  
       2018-07-10 21:08:32 +08:00
    地址作者写错了,是这个
    https://github.com/BlingBlingdevelopers/bluff
    xiaozizayang
        6
    xiaozizayang  
       2018-07-11 20:38:10 +08:00
    我看源码 忽然感觉好熟悉 依稀记得很多地方和我以前看的一个框架爬虫框架 gain 里面代码实现极其类似
    最后,放下我自己写的一个爬虫框架哈哈 https://github.com/howie6879/aspider
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5194 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 03:51 · PVG 11:51 · LAX 20:51 · JFK 23:51
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.