V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
est
V2EX  ›  Python

python 用来写爬虫是有遗传的。。Guido 当年准备爬遍全球 www 网站。。

  •  1
     
  •   est ·
    est · 2016-09-15 22:34:51 +08:00 · 4466 次点击
    这是一个创建于 2788 天前的主题,其中的信息可能已经有所发展或是发生改变。
    11 条回复    2016-09-16 22:57:49 +08:00
    qiukun
        1
    qiukun  
       2016-09-15 23:13:31 +08:00
    看来 Matz 当年一定是写 CGI
    hahastudio
        2
    hahastudio  
       2016-09-15 23:21:22 +08:00   ❤️ 1
    Guido 给 asyncio 写的样例程序都是 crawler
    http://aosabook.org/en/500L/a-web-crawler-with-asyncio-coroutines.html
    ipconfiger
        3
    ipconfiger  
       2016-09-15 23:25:48 +08:00
    要创建天网的节奏
    wql
        4
    wql  
       2016-09-15 23:28:41 +08:00 via Android
    1997 年 www 有多少,现在有多少。这个抓取量……
    est
        5
    est  
    OP
       2016-09-15 23:41:44 +08:00
    @wql 还抓了 1600 个 gopher 网站。
    janxin
        6
    janxin  
       2016-09-16 02:04:50 +08:00 via iPhone
    出去聊了一圈发现爬虫真是太常见了,简直必需品
    ericls
        7
    ericls  
       2016-09-16 02:18:51 +08:00
    很有意思
    aeshfawre
        8
    aeshfawre  
       2016-09-16 05:45:56 +08:00
    可惜了,谷歌不是出自他手。
    SlipStupig
        9
    SlipStupig  
       2016-09-16 11:25:35 +08:00   ❤️ 1
    祖传爬虫......
    lcc4376
        10
    lcc4376  
       2016-09-16 13:37:09 +08:00
    爬虫祖师爷
    aljun
        11
    aljun  
       2016-09-16 22:57:49 +08:00
    google 当年的爬虫也是 py 写的啊。。。。。过了好几年才转的 c++
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1022 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 23:56 · PVG 07:56 · LAX 16:56 · JFK 19:56
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.