Python + pandas + chunksize 如何分块 分组 再汇总统计?

[bccber]

有一个很大的文件 内容是一行一个 MD5 值 我需要统计每个 MD5 出现的次数
如果直接 pandas.read_csv 会 MemoryError
一行一行读+字典 也行 但不是我要的

怎么使用 分块读取 然后分组统计再汇总?
loop = True
chunkSize = 100000
chunks = []

while loop:
try:
chunk = data.get_chunk(chunkSize)
chunks.append(chunk)
except StopIteration:
loop = False
print("Iteration is stopped.")

df = pd.concat(chunks, ignore_index=True)

[ferstar]

刚好手上有个类似的数据集，唯一与楼主不同的是每一行是一个[100, 150]的整数，我是这样统计的：
---
```python
from collections import Counter

import pandas as pd

size = 2 ** 10
counter = Counter()
for chunk in pd.read_csv('file.csv', header=None, chunksize=size):
counter.update([i[0] for i in chunk.values])

print(counter)

```
---
大概输出如下：
```
Counter({100: 41,
101: 40,
102: 40,
...
150: 35})
```

[caomaocao]

Counter() 或者 Mapreduce 的思想做哦~

[chuanqirenwu]

dask 一行搞定。

dd.groupby().count()，和 pandas 一样的 API，但是把 fill in memory 拓展到 fill in disk。

[zhusimaji]

Counter 可以试试，有分布式观景首选 mapreduce

[zhusimaji]

分布式环境

[zhusimaji]

@chuanqirenwu 学习新姿势，一般数据量大都是实用 spark 完成计算，刚去看了下 dask，不错的包

[liprais]

sort | uniq -c

[notsobad]

用 shell 比较简单

cat x.txt | sort | uniq -c