首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
V2EX  ›  问与答

请教一个抓取tweets的问题

  •  
  •   sutar · 2012-03-07 18:42:22 +08:00 · 3894 次点击
    这是一个创建于 2834 天前的主题,其中的信息可能已经有所发展或是发生改变。
    比如现在有个URL:https://twitter.com/#!/sutar/status/170814521433276416
    我使用Python的urllib2库进行抓取,设定了Cookie和UA信息。

    由于该页面载入的时候twitter使用了跳转,所以用urlopen读取的页面不是所需要的页面,而是一个提示登录的页面。估计是twitter为了防止采集所采取的方式吧。

    可是现在的确需要抓取该页面的信息,请问我该怎么做呢?
    目前对于跳转的页面完全没思路啊,看response的信息也看不到门道。。求助!
    14 回复  |  直到 1970-01-01 08:00:00 +08:00
        1
    laiwei   2012-03-07 18:46:25 +08:00
    嗯,twitter的消息,都是要经过用户授权的。

    你可以申请一个appkey,然后做一个应用,让用户授权,然后你访问数据。

    就是这么个过程,没有捷径^^
        2
    sutar   2012-03-07 18:49:24 +08:00
    @laiwei 是啊,原先也想过使用API,但是API的访问限制不满足需要啊。昨天不到半小时就采集了几千条tweets。用API肯定超额了。 :(
    谢谢你了。
        3
    laiwei   2012-03-07 19:18:36 +08:00 via Android
    哈,你采集的是什么tweets呢?是自己的?其他用户的?
        4
    sutar   2012-03-07 19:20:54 +08:00
    @laiwei 当然不是自己的,自己的就好办了。。= =#
        5
    sobigfish   2012-03-07 19:38:31 +08:00
    twitterfeed之类的服务呢,再采集他们的feed
        6
    toothpaste   2012-03-07 19:45:56 +08:00
        7
    tuoxie007   2012-03-07 20:30:06 +08:00 via iPhone
    redirecthandler
        8
    wynemo   2012-03-07 20:48:19 +08:00
    是不是该抓https://twitter.com/sutar/status/170814521433276416

    $ wget https://twitter.com/#!/sutar/status/170814521433276416 之后

    cat 170814521433276416 |grep -P '<span class="entry-content">'

    <span class="entry-content">I'm at 华联商厦(五道口店) (北京海淀区成府路28号  , 北京) <a href="http://t.co
    /hKED0mQ9" target="_blank" class="tweet-url web" rel="nofollow" class="twitter-timeline-link">t.co/hKED0mQ9</a></span>

    直接抓那个带#的估计就是抓的首页吧。。。
        9
    tuoxie007   2012-03-07 20:51:35 +08:00 via iPhone
    @wynemo 同学,这个地址怎么和我在一栋呀
        10
    wynemo   2012-03-07 21:34:28 +08:00
    @tuoxie007 这个你就问楼主了
        11
    wynemo   2012-03-07 21:36:19 +08:00
        12
    sutar   2012-03-07 21:58:25 +08:00
    @wynemo 啊 谢谢你啊!貌似可以的! :)
        13
    sutar   2012-03-07 21:59:05 +08:00
    @tuoxie007 咦?你在五道口购物中心?
        14
    tuoxie007   2012-03-08 10:12:27 +08:00 via iPhone
    @sutar ,我就是地下一层楼梯口卖糖葫芦的
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   1121 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 25ms · UTC 18:40 · PVG 02:40 · LAX 10:40 · JFK 13:40
    ♥ Do have faith in what you're doing.