各位大佬,请教下当前实验室设备日志文件的采集、解析、存储方案,欢迎指教。
实验室设备的日志文件格式一般都是"txt"、"csv"等,但是格式和内容差别很大,就数据解析层面而言几乎没有可复制性的,想问问各位,这种场景就只能每种类型写代码逐个解析么?有没有通用性的工具或者方案,谢谢。
初步的想法是在实验室设备的电脑上安装 FTP 同步软件,把指定目录下的日志文件定时同步到一个文件服务器,然后通过定制代码的方式分别解析这些日志文件,再将解析后的数据插入关系数据库,如 MySQL 等。
谢谢。
1
sujin190 2022-12-15 14:20:06 +08:00
logstash
|
2
superchijinpeng 2022-12-15 14:34:13 +08:00
Fluent Bit
|
4
Afar OP @superchijinpeng 谢谢。
|