V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
Janan
V2EX  ›  问与答

推特(twitter/x)如何下载任意账户的所有历史推文?求爬虫或其他方案推荐。

  •  
  •   Janan · Dec 1, 2025 · 1785 views
    This topic created in 149 days ago, the information mentioned may be changed or developed.

    如题: 推特(twitter/x)如何下载任意账户(非私密账户)的所有历史推文?

    目前已搜到的结果:

    1.依赖官方 API 的方案都受 3200 条的限制
    2.twitter/x 目前的反爬较为严格,github 上的几个主流爬虫都已经失效/残缺

    有大佬有相关成熟方案推荐吗?

    如果没有现成方案,这样一个需求大概需要花多少钱能请人实现? 如有人能给可行实现方案,可以给我报个价。

    先谢谢大家了。

    15 replies    2025-12-02 18:28:56 +08:00
    donaldturinglee
        1
    donaldturinglee  
       Dec 1, 2025
    你买能爬的接口不就好了。现在很多做代理池的都有这种服务
    Tiande
        2
    Tiande  
    PRO
       Dec 1, 2025 via Android
    xbin
        3
    xbin  
       Dec 1, 2025
    主要是 x 访问频率控制严格,使用网页 graphql api 控制一下访问频率还是很稳的
    Janan
        4
    Janan  
    OP
       Dec 1, 2025
    @Tiande 刚试了,无法满足下载全部推文的需求。谢谢。
    Janan
        5
    Janan  
    OP
       Dec 1, 2025
    @donaldturinglee 我目前搜到的基本不提供单账户全内容下载,要么受 3200 条限制。大佬如果有用过可行的,求推荐。
    Janan
        7
    Janan  
    OP
       Dec 1, 2025
    @supermama 不行,只能爬取 1 年以内的。
    kdwnil
        8
    kdwnil  
       Dec 1, 2025 via Android
    以前用搜索可以绕过 3200 条的限制,但也会忽略全部转推。到现在这招对抗风控的成本高,搜索接口的返回也变得一团糟,太麻烦所以没什么人愿意弄
    Tink
        9
    Tink  
    PRO
       Dec 1, 2025 via Android
    rapidapi
    Janan
        10
    Janan  
    OP
       Dec 1, 2025
    @kdwnil 是的,可恶的老马。
    freemoon
        11
    freemoon  
       Dec 1, 2025
    直接找数据提供商买全量数据,不过费用可能要上百万 RMB ,毕竟 vx 文章都是这个价。
    Q980q48Jgj6pRXoO
        12
    Q980q48Jgj6pRXoO  
    PRO
       Dec 2, 2025 via iPhone
    意思是那些几十万发帖的人只能自己看到最早的记录么
    kdwnil
        13
    kdwnil  
       Dec 2, 2025 via Android
    @usn 一般情况下连自己都看不了早年的记录,网页时间线是时间倒序 800 条左右,客户端更少,不过账号拥有者可以通过导出个人数据来尽可能地拿到绝大多数推文
    Q980q48Jgj6pRXoO
        14
    Q980q48Jgj6pRXoO  
    PRO
       Dec 2, 2025 via iPhone
    @kdwnil #13 那就只能通过删除最新发的从而让更早的贴文出现在倒序时间表里面吗
    feidao158
        15
    feidao158  
       Dec 2, 2025
    插个眼,这个需求我之前也有过,一直没找到合适的解决方案,不知道有没有什么三方付费的代理 API 能实现这个需求也行
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2667 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 57ms · UTC 15:53 · PVG 23:53 · LAX 08:53 · JFK 11:53
    ♥ Do have faith in what you're doing.