推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
抓取 Twitter, Quora, Reddit 的指定 url 的内容的方法?
cloud2000 · 2023-12-05 18:13:08 +08:00 · 1236 次点击这是一个创建于 389 天前的主题，其中的信息可能已经有所发展或是发生改变。
我试了 scapy/request/BeautifulSoup 的方案，只能抓一般网站。
用来抓 Twitter, Quora 会显示“javascript 不支持"等，Reddit 只能抓到楼主的提问，回复全部抓不到。
后来改成用 Selenium 倒是可以全部抓了，但是 Selenium 方案太重了。
请问:
1.有没有优雅方案可以抓上述几个社交平台指定 url 的内容？
2.如果没有，有第三方的 API （可以接受付费)支持吗？
用来抓 Twitter, Quora 会显示“javascript 不支持"等，Reddit 只能抓到楼主的提问，回复全部抓不到。
后来改成用 Selenium 倒是可以全部抓了，但是 Selenium 方案太重了。
请问:
1.有没有优雅方案可以抓上述几个社交平台指定 url 的内容？
2.如果没有，有第三方的 API （可以接受付费)支持吗？
 |
1
Retool 2023-12-05 18:35:30 +08:00
https://rapidapi.com/hub
里面有很多别人提供的非官方 API ，比如 Twitter API 就有很多，可以对比一下价格选一个划算的（有些免费额度也很高） |
 |
2
lifei6671 2023-12-05 19:17:42 +08:00
我用 https://github.com/go-rod/rod 来抓取抖音和小红书内容。不过这个是基于 Chrome 的，也挺笨重的。
|
Select Language