V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
dalieba
V2EX  ›  V2EX

能不能拦截 Internet Archive 的数据请求?

  •  
  •   dalieba · 2019-01-28 23:03:43 +08:00 · 3834 次点击
    这是一个创建于 1886 天前的主题,其中的信息可能已经有所发展或是发生改变。
    不知道有没有可能在 V 站的 robots.txt 加一条规则,从而排除来自这个网站的爬虫。
    6 条回复    2019-01-29 04:10:39 +08:00
    wjm2038
        1
    wjm2038  
       2019-01-28 23:28:14 +08:00 via Android
    /t/531025
    你俩可以唠唠嗑
    dalieba
        2
    dalieba  
    OP
       2019-01-28 23:31:00 +08:00
    有情 @Livid
    Tink
        3
    Tink  
       2019-01-28 23:36:16 +08:00 via iPhone
    这是有啥讲究么?屏蔽这个网站
    ryd994
        4
    ryd994  
       2019-01-29 01:32:52 +08:00 via Android
    @Tink 估计是有不想留下记录的文章
    然而 robots.txt 只是一种约定俗成,并不是严格规范,不遵守的爬虫多了去了。
    Trumeet
        5
    Trumeet  
       2019-01-29 02:03:57 +08:00 via Android   ❤️ 1
    1. 没有意义
    2. 没用
    3. 可以实现
    phy25
        6
    phy25  
       2019-01-29 04:10:39 +08:00 via Android
    对于编辑的限制是为了让大家对发表在 V2EX 的言论更加负责。https://www.v2ex.com/faq
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2846 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 31ms · UTC 13:44 · PVG 21:44 · LAX 06:44 · JFK 09:44
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.