爱意满满的作品展示区。
jacsice

[开源] 视觉状态机 + Electron,让 AI 自己操作微信/企微/WhatsApp

  •  
  •   jacsice · Apr 14 · 1824 views
    This topic created in 41 days ago, the information mentioned may be changed or developed.

    写了个东西,开源了:sightflow.dev (代码会在本周同步在 GitHub ,同步在网站上)

    一句话:给大模型装眼睛和手。它能自己打开微信、企业微信、WhatsApp ,像人一样看界面、读消息、打字回复。

    不是 API 套壳——因为这几个平台根本没给开发者开放可用的 API 。

    核心方案:

    • 视觉自动化状态机(看窗口、切任务)
    • Electron 跨桌面
    • 键盘模拟 + 状态流转

    最难的部分(视觉执行层)我已经啃完了,代码已开源。上层留了一个本地 Skill Server ,你只需要写业务逻辑(比如自动客诉、销售跟进、群回复),不用碰底层。

    适用场景:

    • 无 API 的私域自动化(客服、销售、运营)
    • 跨 WhatsApp / 微信 / 企微的统一消息处理
    • 任何需要“AI 模拟人操作桌面软件”的场景

    为什么搞这个? 因为全球 5000 万+ 企业用 WhatsApp Business ,中国 1200 万+ 企业微信用户,但官方接口要么没有,要么贵得离谱。AI Agent 想落地到最赚钱的业务场景,绕不开这些平台。

    现状:

    • 视觉执行层稳定,可直接 clone 跑 demo

    有场景的开发者欢迎 clone 下来跑一跑,也欢迎讨论。

    Supplement 1  ·  Apr 17
    19 replies    2026-04-18 15:52:11 +08:00
    MoozLee
        1
    MoozLee  
       Apr 14
    关注下,可以在 rpa 数据采集中使用吗
    partner666
        2
    partner666  
       Apr 14
    能把我打副本吗😊
    510908220
        3
    510908220  
       Apr 14
    看起来很有意思,体验体验
    xialaoban
        4
    xialaoban  
       Apr 14
    识别速度能做到打游戏的话!
    cairnechen
        5
    cairnechen  
       Apr 14
    怎么解决模型视觉识别的坐标漂移的啊? opus4.6 视觉识别 800×600 的图片都会缩放 官方说的 1580px 根本做不到
    haoxuexiaoyao
        6
    haoxuexiaoyao  
       Apr 14
    网址呢
    v1
        7
    v1  
       Apr 15
    但官方接口要么没有,要么贵得离谱

    你猜猜能撑多久不封号?
    Ghostsss
        8
    Ghostsss  
       Apr 15
    视觉应该是后面发展的一个方向。不过识别 定位 理解 执行 这一串流程,我到现在都没有完全走通,期待
    Ghostsss
        9
    Ghostsss  
       Apr 16
    非常不错的思路,使用归一化坐标,从来没想过的方向。
    jacsice
        10
    jacsice  
    OP
       Apr 17
    cairnechen
        16
    cairnechen  
       Apr 17
    @jacsice op 你有用通用模型试过这套流程吗?
    caoyang5689
        17
    caoyang5689  
       Apr 17
    npm error command git --no-replace-objects ls-remote ssh://[email protected]/shiflow2023/robotjs.git
    npm error [email protected]: Permission denied (publickey).
    这个依赖没放开,win 可以推一个安装包到 git 不
    510908220
        18
    510908220  
       Apr 17
    @cairnechen #16 npm error An unknown git error occurred
    npm error command git --no-replace-objects ls-remote ssh://[email protected]/shiflow2023/robotjs.git
    npm error [email protected]: Permission denied (publickey).
    npm error fatal: Could not read from remote repository.
    jacsice
        19
    jacsice  
    OP
       Apr 18
    @cairnechen 跑过,能正常运行的
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1156 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 91ms · UTC 23:13 · PVG 07:13 · LAX 16:13 · JFK 19:13
    ♥ Do have faith in what you're doing.