V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
roiding
V2EX  ›  Node.js

有大哥用 nodejs 写过爬虫嘛

  •  
  •   roiding · 2022-06-08 12:00:23 +08:00 · 3748 次点击
    这是一个创建于 911 天前的主题,其中的信息可能已经有所发展或是发生改变。
    很简单的一个事,我就是想访问 opensea ,把 html 拉下来。但是试着用 needle 和 axios 请求都会被 cloudflare 打回来,各种 header 我都加过了。
    但是神奇的就是 postman 请求永远都是成功的,你说一直不行把 我用 needle 又请求成功一次,像请问下大哥们有人遇到过这个嘛,要怎么解决
    winnerczwx
        1
    winnerczwx  
       2022-06-08 13:47:56 +08:00
    ShayneWang
        2
    ShayneWang  
       2022-06-08 14:47:38 +08:00
    puppeteer
    duan602728596
        3
    duan602728596  
       2022-06-08 19:04:52 +08:00
    import fs from 'node:fs/promises';
    import got from 'got';
    import needle from 'needle';

    const res = await got('https://opensea.io/', {
    responseType: 'text'
    });

    await fs.writeFile('1.html', res.body);

    needle.get('https://opensea.io/', function(error, res) {
    if (!error && res.statusCode === 200)
    fs.writeFile('2.html', res.body);
    });

    测了下没问题,应该没有反爬。有可能是网络问题,毕竟服务器在境外。
    roiding
        4
    roiding  
    OP
       2022-06-20 08:45:02 +08:00
    @duan602728596 手动给你点个赞
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   4106 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 04:11 · PVG 12:11 · LAX 20:11 · JFK 23:11
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.