V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
zinfinb
V2EX  ›  Python

付费写一个爬虫系统

  •  1
     
  •   zinfinb · 2019-05-15 15:48:06 +08:00 · 4038 次点击
    这是一个创建于 1779 天前的主题,其中的信息可能已经有所发展或是发生改变。

    主要采集 主流财经类网站的实时新闻,在股市交易日的交易时间阶段 对采集实时性要求高,越快越好。 其他时间段可以抓取间隔时间长一些。

    要求实时性和稳定性达到最佳, 服务器资源可以提供多台,或者代理池 ip 购买

    有兴趣的 pm 我,或者加我球球 : 196063

    12 条回复    2020-06-22 22:32:05 +08:00
    deepall
        1
    deepall  
       2019-05-15 15:54:33 +08:00
    给几个网站看看?
    zinfinb
        2
    zinfinb  
    OP
       2019-05-15 16:01:27 +08:00
    就财联社 https://www.cls.cn/ 电报那些啊 ,网站解析那些都好弄,我这边大部分都搞定了,主要是稳定性 和盘中的速度,需要一份可靠的解决方案
    xavier007
        3
    xavier007  
       2019-05-15 16:04:39 +08:00
    已添加,麻烦通过下
    q397064399
        4
    q397064399  
       2019-05-15 16:11:20 +08:00
    采集这种资料有什么用吗? 分类 ? NLP 自动分析 利空 利多吗 加入到 Alpha 因子中去?
    hellosoft
        5
    hellosoft  
       2019-05-15 16:12:09 +08:00
    同上,我也有这个需求,想找人写 Python 爬虫,有想做的+微信 compucen
    fngtz
        6
    fngtz  
       2019-05-15 16:13:17 +08:00 via iPhone
    爬微博还有点用,财经新闻没有任何意义的。
    zinfinb
        7
    zinfinb  
    OP
       2019-05-15 16:16:48 +08:00
    @q397064399 做事件驱动啊 也可以加入到一些程序化交易的系统里
    xavier007
        8
    xavier007  
       2019-05-15 16:39:34 +08:00
    @hellosoft 已添加,麻烦通过下
    hailong0707
        9
    hailong0707  
       2019-05-15 17:44:31 +08:00   ❤️ 1
    fank99
        10
    fank99  
       2019-05-16 10:18:37 +08:00
    简单看了下,不是直接返回 json 吗,感觉还是比较简单的啊
    danmu17
        11
    danmu17  
       2019-05-21 23:56:23 +08:00   ❤️ 1
    我估计又是那种要求每隔几秒就抓取一次全站数据的小白需求。
    不过国内似乎写这种直接 DDOS/CC 网站的爬虫也不奇怪?
    ruby0906
        12
    ruby0906  
       2020-06-22 22:32:05 +08:00
    搜索: 有为财经 看看这个是不是符合你们的要求。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   989 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 20:08 · PVG 04:08 · LAX 13:08 · JFK 16:08
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.