由于项目需要，最近三天写了个小文件读取工具(TFS for Java )
myliang · myliang · 2020-01-19 17:36:17 +08:00 · 2883 次点击这是一个创建于 1796 天前的主题，其中的信息可能已经有所发展或是发生改变。
为什么要写这个？
项目需要，我开发了很多小项目需要存储很多的图片，pdf 小文件，之前通用的方法就是直接用系统的文件存储方式，这样方式对于一般的项目没有问题，但是当存储的文件多的时候就有些问题了（比如 linux 系统下目录下的文件数量时候一定的，当超过了出错了）， 所以我想到了小文件存储系统，比如淘宝的 tfs, facebook 的文件系统等等，这些文件系统都是分布式的应对超大数据量的，部署都需要多台服务器，对小项目来说，直接用这些感觉有点大材小用了 所以我觉得还是自己随手写个简单易用的针对小项目的文件存储工具，方便整合到现有系统
原因说清楚了，直接上地址，欢迎大家拍砖,讨论过
 |
1
cq65617875 2020-01-19 19:34:31 +08:00
没有 delete ？
蔟大文件小 一直写入超小文件的话 ssd 是不是就爽飞了 |
 |
2
myliang OP @cq65617875 删除数据暂时只是做标记，真要删除重排索引，你有什么好建议
|
 |
3
CallMeReznov 2020-01-19 21:55:26 +08:00
对象存储?
|
|
4
myliang OP @CallMeReznov 单机小文件对象存储
|
 |
5
lxml 2020-01-19 22:31:24 +08:00
https://mp.weixin.qq.com/s/YM1QsdAHEHdehJT2_oMVSg
上次看 pingcap 的 CTO 讲 tidb 在本地磁盘伤的坑，可以尝试一下，看能不能触发不同操作系统不同文件格式的坑～～ |
 |
6
privil 2020-01-19 23:19:04 +08:00
是时候安利一波 seaweedfs 了，用 java 消耗太高了吧……
|
 |
8
abellee000 2020-01-20 14:13:54 +08:00 via Android
弄个对象储存？ minio ？
|
|
9
myliang OP @abellee000 非分布式小对象存储，也就是多小文件合并为大文件而已
|
Select Language