V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
lgh06
V2EX  ›  分享创造

网页变动检测监控提醒 - 云端+开源自部署

  •  1
     
  •   lgh06 ·
    lgh06 · 2022-04-20 09:51:45 +08:00 · 4647 次点击
    这是一个创建于 949 天前的主题,其中的信息可能已经有所发展或是发生改变。

    阿欢云端 网站网页页面更新变动监控提醒

    是国外 visualping / changedetection / Distill 等工具的优秀替代品。
    自己独立开发,借助开源世界的优秀工具,实现了云端检测网页变动,然后发送 Email 提醒。 每月免费检测 80 次,即使付费也很便宜。
    源码公开,可以自己部署,但禁止商业盈利用途。

    URL 访问地址

    地址 1 (适合内地)
    地址 2 (适合海外)
    文档地址(适合内地)
    文档地址(适合海外)

    目前为 alpha 版本,持续优化中。如有意见建议,请去github 讨论区
    或邮件至 i$$passby.me ($$ = @)

    Email 提醒截图

    Email 提醒截图

    以下为网站简介及常见问题:

    这个网站能做什么?

    云端持续定时监控 /检测一个网页的变化,间隔最小十分钟。
    如网页有变化或指定的关键词出现, 便发送电子邮件提醒,或电话提醒(开发中)。
    另请参阅 常见问题 页面。

    主要应用场景是什么? 举个例子?

    理论上支持检测任何公开的网页(检测需要登录后才能查看的网页,功能正在开发中)。应用场景非常广泛, 比如:

    • 查看某招聘网站有没有发新的招聘信息;
    • 查看某网站是不是有了新的招标公告、投标中标公告信息;
    • 查看某考试网站是不是发布了成绩,避免苦苦等待,漫漫无期;
    • 等等其他你需要查看网页更新 /变动的场景。

    与其他网站相比有什么不同与优势? 为什么选择我们的服务?

    主要优势:

    • 云端检测,不用挂机,节省电费。自己开电脑一个月,仅电费一项,就远远大于 10 元!
    • 便宜,负担得起。每月赠送 80 次检测次数;最低充值 2 元(人民币),即可获取 200 次检测次数。无论免费用户与付费用户,目前的最小检测间隔均为 10 分钟。
    • 点点鼠标,输入网址,填写几个选项即可。本机不用安装各种软件插件。
    • 开发者身处中国大陆,快速响应各种问题,快速开发与更新版本。
    • 服务器目前部署在中国境内,相比国外同类服务,网络延迟低、检测失败少,可以更快更准确地获取网页更新。 (多检测点、海外检测点,正在开发中)
    • 采用多种手段,避免误报与过度打扰,提升邮件送达率:
    1. 支持设置 CSS 元素选择器,仅检测指定区域的网页变动,避免误报
    2. 支持在上述指定区域内,再次使用 CSS 元素选择器,移除不需要的元素,适配更加复杂的页面。
    3. 支持在已获取页面内容(上述两步)之后,使用正则表达式,移除不需要的信息或格式化结果。
    4. 同一任务的邮件提醒,默认每 6 小时最多发送一次。(自定义邮件通知频率的功能正在开发中)
    5. 使用亚马逊 AWS 和阿里云的邮件发送服务,提升邮件送达率,避免垃圾邮件误报。
    • 项目已开源,但禁止商用及盈利行为。( 如需商业及部署支持,请联系开发者。 详细的许可协议参见以下链接内的 License 信息:)
      Github 开源地址: 链接
      Coding 开源地址:链接
    21 条回复    2024-10-25 09:48:32 +08:00
    lmaq
        1
    lmaq  
       2022-04-20 10:07:23 +08:00
    地址 1 (适合内地) 打不开
    lgh06
        2
    lgh06  
    OP
       2022-04-20 10:09:29 +08:00
    @lmaq 没宕机,用了 CDN ,强制刷新,Ctrl + Shift + R / COMMAND + SHIFT + R 再试试
    xinyana
        3
    xinyana  
       2022-04-20 10:18:19 +08:00 via Android
    正想做一个,非常有用
    qa2080639
        4
    qa2080639  
       2022-04-20 11:16:50 +08:00
    不错 需要到的时候挺实用的
    skys215
        5
    skys215  
       2022-04-20 11:45:33 +08:00
    建议做成浏览器插件
    lgh06
        6
    lgh06  
    OP
       2022-04-20 12:42:58 +08:00
    @skys215 浏览器插件适合短时间内多次检测的场景,比如库存,抢票等,而且已经有人做了,功能也还不错。
    做成云服务的优点就是免挂机,不用盯着,适合你不知道未来几天到底哪一天才更新的场景。
    lgh06
        7
    lgh06  
    OP
       2022-04-20 12:55:20 +08:00
    其它类似的开源项目: https://github.com/stars/lgh06/lists/crawler
    不开源的就不推荐不给别人引流了 😂
    jayin
        8
    jayin  
       2022-04-20 14:08:36 +08:00
    不错,支持下
    paopjian
        9
    paopjian  
       2022-04-20 14:13:30 +08:00
    感觉像是定时爬虫比对?
    imdgr886
        10
    imdgr886  
       2022-04-20 14:15:54 +08:00
    楼主我也刚发了自己的服务,共勉
    huanxianghao
        11
    huanxianghao  
       2022-04-20 15:25:51 +08:00
    我用的 uptimerobot
    lgh06
        12
    lgh06  
    OP
       2022-04-20 16:54:14 +08:00
    @huanxianghao 我这套东西适合检测网页内容,如果是宕机检测或者 HTTP Status / HTTP GET 检测 那可用的东西就更多了,各大云厂商的云拨测都有各种免费额度。
    lgh06
        13
    lgh06  
    OP
       2022-04-20 16:56:23 +08:00
    @imdgr886 我这套东西本质上也是 cron syntax + 执行任务,只不过我这个任务目前限定死了,是个服务器上运行的浏览器。共勉。
    lgh06
        14
    lgh06  
    OP
       2022-04-20 16:57:13 +08:00
    @paopjian 可不就是这回事…
    hong2351
        15
    hong2351  
       2022-04-20 17:36:13 +08:00 via Android
    有空看看
    jackrebel
        16
    jackrebel  
       2022-04-22 11:26:21 +08:00
    非常不错, 已经收录了。https://www.8kmm.com/sites/5811.html
    常用工具,

    Cron 定时任务表达式对普通用户来说, 还是有点难的, 希望大佬能改进用户体验。
    lgh06
        17
    lgh06  
    OP
       2022-04-22 14:28:50 +08:00
    @jackrebel 做之前也考虑了,一堆 select / input 最后搞出来的日期选择,单就时间点和时间段的定义来说,还不如 cron 表达式来的简便直接。以后可以再加个简易的日期选择器,方便没有计算机背景的用户,比如每天 X 点 Y 分 和 A 点 B 分。
    jackrebel
        18
    jackrebel  
       2022-04-22 15:45:18 +08:00
    @lgh06 https://s1.ax1x.com/2022/04/22/L2BFYt.jpg 就这几个就行了吧。 不用搞得很复杂
    lgh06
        19
    lgh06  
    OP
       2022-04-22 20:40:16 +08:00
    @jackrebel 比截图上的“监控频率”逻辑要复杂,比如,一个用户想每天晚上 20 点 10 分检测一次,比如每天晚上 18 点、19 点、20 点的 15 分都检测一次(每天三次),前端 input /select 的逻辑就很复杂,然而用 cron 表达式分分钟把前面两个例子秒杀
    lgh06
        20
    lgh06  
    OP
       2022-04-22 20:53:53 +08:00
    @jackrebel cron 功能强大,不适合普通用户; select + input 适合简单情况、普通用户。加个 select/input 不难,但是功能反而弱了… 后面看看情况再说怎么加。
    Pepsigold
        21
    Pepsigold  
       30 天前 via Android
    好东西要分享
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   945 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 20ms · UTC 22:43 · PVG 06:43 · LAX 14:43 · JFK 17:43
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.