用于一个自己做着玩儿的小项目,数据格式是这样的:
ID TYPE YEAR MONTH DAY HOUR DATETIME V1 V2 V3 ... Vn
其中 ID 只有几千个, 且自带空间信息( LAT LON HEIGHT ), TYPE 有几十个,DATETIME 是采样时间打算存成字符串, Vi 都是浮点数据,数据量以大约 2 千万条 /年的速度递增。 需要的操作主要就是“获取满足一定约束条件的全部数据”和一些简单的加减乘除取平均之类的运算。
由于只是科学计算,不是业务性质的项目,所以调用频率不是很频繁, 对运算时间也不敏感,响应时间从数秒到数分钟都无所谓。 比较重要的一点是为了能方便地调用,所以不打算分表。
目前的话只在本地处理,根据 ID 用 CSV 存储,而后用 Python 的 Pandas 计算,搭配上 SSD 倒也不是不能忍受。但因个人原因(写循环读数据太烦人了),所以打算弄成数据库并丢到 Linode 上面( 2GB 丐版),所以特地来万能的 V 站请教解决方案 Orz