V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
yellowtail
V2EX  ›  Python

小白写爬虫爬 b 站直播弹幕 F12 后找不到 msg,求助。。

  •  
  •   yellowtail · 2018-11-19 21:50:44 +08:00 · 3365 次点击
    这是一个创建于 1978 天前的主题,其中的信息可能已经有所发展或是发生改变。

    用的手机热点上网速度大概 0.5Mbps 不到,很卡,不知道是不是因为网速的原因还是 b 站改了? 浏览器是 chrome 操作系统为 window7 64

    9 条回复    2018-11-26 22:05:21 +08:00
    yellowtail
        1
    yellowtail  
    OP
       2018-11-19 22:11:18 +08:00
    用网页元素找到了,接着打算仿照罗攀的那本书的例子做。但是好奇,为什么我的浏览器可以一直接收弹幕,爬虫就用 timesleep...有什么好的理解吗
    nlysh007
        2
    nlysh007  
       2018-11-20 09:16:27 +08:00
    直播弹幕不是 websocket 么...
    smallQ
        3
    smallQ  
       2018-11-20 10:32:31 +08:00
    弹幕一般是 websocket 吧,,在 WS 那一栏里面看下
    no1xsyzy
        4
    no1xsyzy  
       2018-11-20 10:34:34 +08:00
    @nlysh007 直播弹幕怎么说都是 SSE 更好吧,真用 WebSocket 做吗?而且 SSE 防爬虫也更舒服,很多 python 爬虫并不会做 SSE 适配( select/epoll ),消耗资源比服务器还大。
    yellowtail
        5
    yellowtail  
    OP
       2018-11-20 19:46:15 +08:00
    @no1xsyzy 哥哥们 msg 文件现在还能找到吗 想实现一个实时和弹幕互动的程序
    no1xsyzy
        6
    no1xsyzy  
       2018-11-21 16:04:12 +08:00
    @yellowtail 发工单,请求 API 接口
    明明 Twitch 接口那么好就很好玩,饥荒联机观众能够通过 Twitch 发评论给主播添麻烦。
    这么好玩的东西为什么没有?
    kr380709959
        7
    kr380709959  
       2018-11-22 15:56:52 +08:00   ❤️ 1
    @no1xsyzy b 站以前有弹幕接口,后来被人玩坏了就关闭了。内部有,但是没开放。
    另外,我之前也考虑过爬取 b 站直播的弹幕和人数,后来发现是通过 websocket 来通信的,这个就有点头疼了。建议用 charles 抓 websocket 接口试试看。
    xjbeta
        8
    xjbeta  
       2018-11-23 11:36:07 +08:00   ❤️ 1
    github 搜索 "wss://broadcastlv.chat.bilibili.com/sub" 能找到不少参考项目
    https://github.com/search?l=Python&q=wss%3A%2F%2Fbroadcastlv.chat.bilibili.com%2Fsub&type=Code

    具体的原理参考 https://wuyin.io/2018/03/31/bilibili-live-crawler-and-auto-edit-recording/
    大致就是连接 websocket 发一段带着房间号的 json 然后就能收到弹幕和礼物的信息了
    30 秒一次心跳包
    yellowtail
        9
    yellowtail  
    OP
       2018-11-26 22:05:21 +08:00
    @xjbeta
    1 爬取弹幕中股票代码 按时间序列保存在数据库
    2 九点二十五开始统计投票 九点三十结束 实时显示前八票数 按照投票数量比得到前八股票代码比例 买对应股票并建立对应比例仓位 持有十五分钟以后清仓
    3 重复 2 到 11 点 30 停止,一点到三点继续

    麻烦问下,做个这样的程序大概需要多少钱啊
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2839 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 14:21 · PVG 22:21 · LAX 07:21 · JFK 10:21
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.