V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
sohoer
V2EX  ›  分享发现

Feed DIY 开启全网订阅( RSS)更新

  •  
  •   sohoer · 2017-02-27 10:56:32 +08:00 · 1793 次点击
    这是一个创建于 2859 天前的主题,其中的信息可能已经有所发展或是发生改变。
    优化了 CSS SELECTOR
    修复编码识别 BUG
    增加了几个可选参数配置:
    Charset (页面编码设置,避免乱码)
    Headers (设置登录 COOKIE ,模拟登录抓取)
    Skip how many rows to get the latest information.(排除 BBS 置顶贴)
    At the end of the list to get the latest information.(末尾更新的列表)

    原贴: https://www.v2ex.com/t/341672

    btw:
    追加更新不会在首页显示,是降权了吗?
    11 条回复    2017-04-17 17:04:02 +08:00
    loadingimg
        1
    loadingimg  
       2017-02-27 11:02:28 +08:00   ❤️ 1
    顶一下,一直有在用
    sohoer
        2
    sohoer  
    OP
       2017-02-27 11:09:31 +08:00
    @loadingimg #1

    感谢!有使用问题可以给我留言。

    我经常会去看大家创建的规则,发现有些规则创建的不是很准确导至匹配效果不好。有时候也可能是 CSS SELECTOR 的 BUG , BUG 问题我会第一时间解决
    notgood
        3
    notgood  
       2017-04-07 11:43:10 +08:00
    @sohoer 楼主你好, 发现个 bug, 无法抓取这个页面更新,点生成 feed 无法加载,能帮忙看看吗? http://www.smzdm.com/fenlei/gutaiyingpan/h1c4s0f0t0p1/#feed-main
    sohoer
        4
    sohoer  
    OP
       2017-04-07 11:48:43 +08:00
    @notgood #3 你登录的吗?
    未登录的爬虫 ,磁盘满了现在清理
    sohoer
        5
    sohoer  
    OP
       2017-04-07 12:02:47 +08:00
    @notgood #3 清理完毕,可以了,你再试一下
    notgood
        6
    notgood  
       2017-04-07 13:26:26 +08:00 via iPhone
    @sohoer 我登陆的,还是不行,
    sohoer
        7
    sohoer  
    OP
       2017-04-07 14:13:31 +08:00
    @notgood #6 有什么提示吗?右上角的 Event 不要勾上

    我都有创建一个,你可以直接 clone
    http://www.feeddiy.com/preview/1634
    notgood
        8
    notgood  
       2017-04-07 15:02:40 +08:00
    @sohoer 感谢, 可以了, 刷新好久 clone 才出现
    sohoer
        9
    sohoer  
    OP
       2017-04-07 15:09:33 +08:00
    @notgood #8 好的,有问题再留言
    ZakaryTime
        10
    ZakaryTime  
       2017-04-17 16:57:21 +08:00
    http://www.cqhrss.gov.cn/zwxx/ywfl/rsrc/sydw/sydwzp/ 这个地址服务器访问异常,不能进行爬虫!
    sohoer
        11
    sohoer  
    OP
       2017-04-17 17:04:02 +08:00
    @ZakaryTime #10 确实,这个是服务器端对 GAE 爬虫做了限制

    需要升级账户,走 VPS 爬虫 ,你可以试用一下
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3585 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 04:26 · PVG 12:26 · LAX 20:26 · JFK 23:26
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.