V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
hechaov
V2EX  ›  问与答

从 VPS 爬虫 抓取被 cloudflare access denied

  •  
  •   hechaov · 2022-04-28 13:06:41 +08:00 · 1542 次点击
    这是一个创建于 967 天前的主题,其中的信息可能已经有所发展或是发生改变。

    首先在自己本地电脑抓取没问题, 可以用的是 python3 cfscrape

    脚本 放到 VPS 主机上就不行了

    error code: 1020

    curl --request GET --url https://api.opensea.io/api/v1/asset_contract/0x06012c8cf97bead5deae237070f9587f8e7a266d

    返回的信息的 cloudflare access denined

    先谢谢大哥们

    4 条回复    2022-04-29 07:46:55 +08:00
    oh
        1
    oh  
       2022-04-28 13:34:14 +08:00
    应该是 VPS 的 IP 地址被 Cloudflare 识别是机房网络了吧,加上频繁请求
    felixcode
        2
    felixcode  
       2022-04-28 13:39:29 +08:00 via Android
    网站也可以主动提交爬虫 ip 给 cloudflare 防火墙名单的。
    hechaov
        3
    hechaov  
    OP
       2022-04-28 14:15:56 +08:00
    请求不频繁 还是第一次尝试. 如果走代理能解决问题么
    flynaj
        4
    flynaj  
       2022-04-29 07:46:55 +08:00 via Android   ❤️ 1
    cloudflare 对付爬虫可以一流的。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2689 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 04:10 · PVG 12:10 · LAX 20:10 · JFK 23:10
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.