爬虫管理平台 Crawlab v0.4.10 发布（日志集中管理）
tikazyq · tikazyq · 2020-04-22 09:28:56 +08:00 · 1538 次点击这是一个创建于 1678 天前的主题，其中的信息可能已经有所发展或是发生改变。
前言
本次更新包括几个部分：
- 日志集中管理
- 自动安装依赖
- 开放 API
- Web Hook
- 自动生成结果集
更新日志
功能 / 优化
- 优化日志管理. 集中化管理日志，储存在 MongoDB，减少对 PubSub 的依赖，允许日志异常检测.
- 自动安装依赖. 允许从
requirements.txt和package.json自动安装依赖. - API Token. 允许用户生成 API Token，并利用它们来集成到自己的系统中.
- Web Hook. 当任务开始或结束时，触发 Web Hook http 请求到预定义好的 URL.
- 自动生成结果集. 如果没有设置，自动设置结果集为
results_<spider_name>. - 优化项目列表. 项目列表中不展示 "No Project".
- 升级 Node.js. 将 Node.js 版本从 v8.12 升级到 v10.19.
- 定时任务增加运行按钮. 允许用户在定时任务界面手动运行爬虫任务.
Bug 修复
产品规划
- 结果展示
- 支持其他数据库
- 爬虫
- 支持容器爬虫
- 长任务爬虫支持
- 可配置爬虫
- 可配置爬虫支持 Splash
- 可配置爬虫支持 CrawlSpider
- 可配置爬虫支持正则表达式字段
- 定时任务
- 日历展示
- 服务器
- 支持终端操作 Docker 镜像
- SDK
- 更多命令支持
- 全局
- 热更新
参考
- Github: https://github.com/crawlab-team/crawlab
- Demo: https://crawlab.cn/demo
- 文档: http://docs.crawlab.cn
社区
如果您觉得 Crawlab 对您的日常开发或公司有帮助，请加作者微信 tikazyq1 并注明 "Crawlab"，作者会将你拉入群。欢迎在 Github 上进行 star，以及，如果遇到任何问题，请随时在 Github 上提 issue 。另外，欢迎您对 Crawlab 做开发贡献。
 |
1
eoo 2020-04-22 11:20:33 +08:00
支持一个吧
|
 |
2
pliex 2020-04-22 11:36:59 +08:00
直接过来支持一波大佬
|
 |
4
forever139 2020-04-22 14:10:08 +08:00
支持，很早就 star 过
|
 |
5
tikazyq OP @forever139 感谢支持
|
 |
6
jasy 2020-04-22 15:38:06 +08:00
支持一下······
|
Select Language