V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
• 外包信息请发到 /go/outsourcing 节点。
• 不要把相同的信息发到不同的节点
rubylove
V2EX  ›  酷工作

需长期 python 爬虫兼职

  •  
  •   rubylove · 2014-12-19 10:07:08 +08:00 · 8679 次点击
    这是一个创建于 3612 天前的主题,其中的信息可能已经有所发展或是发生改变。
    针对类似如下网站,http://app.zjepb.gov.cn:8089/nbjcsj/
    1. 按照规定的数据库表的格式,将基础数据和每小时的实时数据内容爬取下来存入数据库,其中初始阶段应将所有可能的历史数据保存。
    算法要求:
    1,从之前向现在的时间取爬取,这样如果因为网络等原因断开后,再次开始时,能自动从更早的时间点开始爬取。
    2. 如果超时,至少要有3次重试。再超时,或者发生错误时,能发送邮件给指定人。
    3. 性能:内存不能超过300M, CPU使用率不能超过30%,数据库链接数需控制在5个以内。
    4. 数据库:已设计好,使用postgresql.
    5. 任务调度:需使用celery。


    因为需爬取的各类资源比较多,因此希望尽可能长期合作。
    22 条回复    2016-12-12 11:38:46 +08:00
    cloudzhou
        1
    cloudzhou  
       2014-12-19 10:15:52 +08:00   ❤️ 1
    这个我比较擅长 :-)
    mutoulbj
        2
    mutoulbj  
       2014-12-19 11:08:31 +08:00
    这个可以有
    rubylove
        3
    rubylove  
    OP
       2014-12-19 11:13:42 +08:00
    @cloudzhou 请联系QQ18028206
    @mutoulbj
    keenturbo
        4
    keenturbo  
       2014-12-19 11:21:47 +08:00
    支持一下
    zhkzyth
        5
    zhkzyth  
       2014-12-19 11:29:58 +08:00
    还有这样的活~~=.=
    zeuss
        6
    zeuss  
       2014-12-19 15:58:04 +08:00
    @mutoulbj 呀,这不是木头哥哥么
    iewgnaw
        7
    iewgnaw  
       2014-12-19 16:11:51 +08:00
    你这不是要数据,是要程序啊。写完了,合作就完了?
    mringg
        8
    mringg  
       2014-12-19 16:15:41 +08:00 via Android
    这叫兼职?
    fooevr
        9
    fooevr  
       2014-12-19 16:16:58 +08:00
    CPU使用率不能超过30%这个要求很奇怪
    9999999999999999
        10
    9999999999999999  
       2014-12-19 16:18:22 +08:00
    @fooevr 估计是他要跑三个实例,
    fooevr
        11
    fooevr  
       2014-12-19 16:25:03 +08:00
    @9999999999999999 我不是说对CPU有限制奇怪, 而是什么级别的CPU呢?
    wibile
        12
    wibile  
       2014-12-19 16:39:36 +08:00
    这种要求还需要用celery???
    icedx
        13
    icedx  
       2014-12-19 16:43:34 +08:00 via Android
    我怎么觉得这个似乎发过一次
    wangfeng3769
        14
    wangfeng3769  
       2014-12-19 17:28:21 +08:00
    个人表示很可以吧
    9999999999999999
        15
    9999999999999999  
       2014-12-19 18:38:48 +08:00
    @fooevr 不管什么级别的CPU啊。 打个比喻: 我雇佣工人做事情,我一共有100元,我需要雇佣三个工人,当然给每个工人的报酬不能超过30元。
    fooevr
        16
    fooevr  
       2014-12-20 00:50:09 +08:00   ❤️ 1
    @9999999999999999 恩 我知道你说的是人民币.
    xuelang
        17
    xuelang  
       2014-12-20 20:33:12 +08:00
    @fooevr 好含蓄啊,哈哈哈
    GeekGao
        18
    GeekGao  
       2014-12-21 15:43:21 +08:00
    这哪是兼职啊。。。 要么叫做长期项目,要么叫做remote
    RangerWolf
        19
    RangerWolf  
       2014-12-21 17:53:26 +08:00
    @icedx 你的感觉是对的 这个帖子跟之前的内容完全一致
    wangfeng3769
        20
    wangfeng3769  
       2014-12-21 20:04:33 +08:00
    这个项目估算一下价格,看看需要多少钱。
    yongjiu236z
        21
    yongjiu236z  
       2016-12-11 00:34:32 +08:00
    mutoulbj
        22
    mutoulbj  
       2016-12-12 11:38:46 +08:00
    @zeuss 哈呀 你是哪个?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2711 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 11:53 · PVG 19:53 · LAX 03:53 · JFK 06:53
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.