首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python 学习手册
Python Cookbook
Python 基础教程
Python Sites
PyPI - Python Package Index
http://www.simple-is-better.com/
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
V2EX  ›  Python

[不懂就问] Scrapy 这类框架到底好在哪里?

  •  
  •   JCZ2MkKb5S8ZX9pq · 91 天前 · 1828 次点击
    这是一个创建于 91 天前的主题,其中的信息可能已经有所发展或是发生改变。
    • 刚开始写爬虫的时候用过一两个项目,那时候基本啥都不懂,就用现成的。
    • 现在基本是直接 requests 加清洗入库。
    • 感觉清洗入库的操作都差不多,scrapy 主要是完成啥工作了?
    • 多线,报错处理,ip 池,这些也都自己写了。
    • 想请教下 Scrapy 到底有啥特别之处吗?想看看有没有能吸收改善的,或者要不要再转 Scrapy。
    11 回复  |  直到 2019-07-17 18:50:00 +08:00
        1
    Vegetable   91 天前
    框架就是做了框架的事情,这怎么说呢,你提到转 scrapy,意味着爬虫对你来说是主要工作?那你能完全不用 scrapy 也是头很铁。
    因为使用框架开发速度会快很多,比如分布式部署,你难道手撸一个基于 redis 的调度系统吗?
    还有中间件,shell 一些工具,都能提高效率。
    基于 scrapy 开发,关注点都是数据,基于 requests,你要自己积累很多写好的代码片段,自己写很多基础功能。
        2
    chengxiao   91 天前
    你自己都说了 多线 报错处理 ip 池 要是自己不写 顺手就用呢?
    还有调度部署也是 scarpy 的优点之一 县城的 scrapyd 轮子很多 方便多机部署和调度
        3
    Takamine   91 天前
    至少在配置,爬取,数据清洗,数据入库做了很清晰的分层。
    这是一个要健康成长的项目必须的。
        4
    fhy1994   91 天前
    框架肯定有框架的好处 就比如支持 Middleware、分布式、日志
    当然这些你也可以自己实现 用框架就不用自己折腾
    公司一个项目用到 城市影院、电影场次排片 用 Scrapy 写爬虫 加 Scrapyd 部署成微服务 贼舒服
        5
    xpresslink   91 天前
    就两个字:省事
    爬虫大多是一次性或短期项目,讲求个短平快。
    爬虫最大的技术难度在于突破反爬机制。各种方案经常是要改换调整的。
        6
    agdhole   91 天前 via Android
    好处是省事,坏处是不省事
        7
    locoz   90 天前
    好处是在特定条件下省事,框架就是把开发者觉得可以复用、很烦的那些部分都整合好了,对于框架可适用的方面,使用者可以只写个核心的部分能跑起来,不需要写多余的代码。比如你只是爬几个简单的新闻网站,用 scrapy 这类框架就可以无视掉很多事情,只需要把解析的部分写出来就能用了。
    坏处是在特定条件下不省事,由于框架本身都有优劣势场景,对于不适用的方面可能就会出现特殊需求无法满足,虽然理论上来讲可以基于框架扩展,但有些需求基于框架进行扩展会很复杂,所以这种情况下用框架还不如自己写。
        8
    snoopy1024   90 天前 via iPhone
    为何不直接看 scrapy 的源码? 你不就明白差别在哪儿了么?
        9
    julyclyde   90 天前
    不用也行啊
    回头你的工作经验从具体案例中剥离出来,就是另一个 scrapy
        10
    ice2neet   90 天前
    省事啊 框架的作用不就是节省工作吗
        11
    leopku   90 天前 via Android
    高级语言及框架到底好在哪?现在基本是直接汇编自己写。

    想请教下高级语言及各种框架到底有啥特别之处吗?
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   4170 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 28ms · UTC 06:56 · PVG 14:56 · LAX 23:56 · JFK 02:56
    ♥ Do have faith in what you're doing.