首页 注册 登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
广告
caspartse
V2EX  ›  分享创造

用 Python 写了个简单的 QQ 群爬虫

  •   
  •   caspartse · 2016-07-23 18:48:25 +08:00 · 21009 次点击
    这是一个创建于 2838 天前的主题，其中的信息可能已经有所发展或是发生改变。

    批量抓取 QQ 群信息，包括群名称、群号、群人数、群主、群简介等内容，最终生成 CSV 结果文件。

    Github

    https://github.com/caspartse/QQ-Groups-Spider

    在线演示

    http://kagent.applinzi.com/qqun

    截图示例

  • QQ
  • 群爬虫
  • csv
  • Python
    26 条回复  •  2018-12-10 20:37:53 +08:00
    xz
        1
    xz  
       2016-07-23 19:06:12 +08:00 via iPhone
    qq 消息管理器里不是有搜索的吗。。。。
    Asimov
        2
    Asimov  
       2016-07-23 19:06:27 +08:00
    抓 webQQ 的嗎？
    caspartse
        3
    caspartse  
    OP
       2016-07-23 19:14:29 +08:00   ❤️ 1
    @xz 对的。
    本人运营狗一枚，经常用到群资源，所以批量抓下来，备用。
    caspartse
        4
    caspartse  
    OP
       2016-07-23 19:15:33 +08:00
    @Asimov http://qqun.qq.com/group/index.html?keyword=V2EX 抓这个页面的。
    zxy
        5
    zxy  
       2016-07-23 20:02:58 +08:00
    编码似乎有问题 (windows 10 excel 2016)
    est
        6
    est  
       2016-07-23 21:33:38 +08:00
    那个登录的 idea 不错！
    GreatMartial
        7
    GreatMartial  
       2016-07-23 21:41:33 +08:00
    关注一波
    caspartse
        8
    caspartse  
    OP
       2016-07-24 02:22:33 +08:00
    @zxy CSV 是 UTF-8 编码的。新增了导出 xls 选项，应该没问题了。
    caspartse
        9
    caspartse  
    OP
       2016-07-24 02:23:22 +08:00
    @est 照搬 QQ 的啦。 QQ 、微信、淘宝的扫码登录原理都差不多。
    caspartse
        10
    caspartse  
    OP
       2016-07-24 02:23:39 +08:00
    @GreatMartial 谢谢 ～
    ViFan
        11
    ViFan  
       2016-07-24 05:52:14 +08:00 via Android
    能把群成员导出来就更好了
    lslqtz
        12
    lslqtz  
       2016-07-24 08:22:42 +08:00 via iPhone
    @ViFan 在群空间里拉一下就有列表了，在那里做匹配应该会比找接口轻松一些。
    sheep3
        13
    sheep3  
       2016-07-24 09:55:02 +08:00
    @ViFan 群成员没有权限的吧，毕竟你还没有入群呢
    maomaomao001
        14
    maomaomao001  
       2016-07-24 09:58:19 +08:00 via Android
    没有加入的群，也可以抓去吗？
    MyFaith
        15
    MyFaith  
       2016-07-24 14:27:24 +08:00
    你这码打的。。
    prprio
        16
    prprio  
       2016-07-24 14:34:33 +08:00
    非常感谢！！！
    这是个好东西啊。
    henryxie2093
        17
    henryxie2093  
       2016-07-25 00:19:05 +08:00
    好东西
    dgkae
        18
    dgkae  
       2016-07-25 22:02:03 +08:00
    马克
    caspartse
        19
    caspartse  
    OP
       2016-07-25 23:41:43 +08:00
    @ViFan 导出群成员的话，可以抓两个页面： http://qun.qq.com/manage.html http://qun.qzone.qq.com/group ，不过，如楼上所说，只能导出自己加入的群。
    ViFan
        20
    ViFan  
       2016-07-28 08:16:03 +08:00 via Android
    收藏先
    happyhou
        21
    happyhou  
       2016-07-29 17:13:46 +08:00
    mark
    mingyun
        22
    mingyun  
       2016-08-28 16:53:19 +08:00
    mark
    mangshe
        23
    mangshe  
       2017-11-11 23:55:26 +08:00
    @caspartse 请问 QQ 群爬虫有没有 windows 的脚本？ 谢谢
    caspartse
        24
    caspartse  
    OP
       2017-12-31 10:36:26 +08:00
    @mangshe Windows XP 测试通过。
    salamanderMH
        25
    salamanderMH  
       2018-11-23 10:23:20 +08:00
    可以出群成员？
    cnpays
        26
    cnpays  
       2018-12-10 20:37:53 +08:00
    @caspartse 楼主，我是 Python 小白，恳请老司机解答我在学习 Python 路上的困惑！
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2292 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 03:37 · PVG 11:37 · LAX 20:37 · JFK 23:37
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.