请教一个AWK问题

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

已注册用户请登录

这是一个创建于 3925 天前的主题，其中的信息可能已经有所发展或是发生改变。

13788 541719 1 1377072940
13788 716992 1 1377072940
13788 768192 0 1377072941
13788 770412 0 1377072941
13788 811103 1 1377072941
13788 854136 0 1377072941
13788 889680 1 1377072162
13788 892453 1 1377072941
13788 892957 1 1377072941
13788 901434 0 1377072941
13788 902755 0 1377072941
13788 904370 1 1377072941
13788 905028 0 1377072941
13788 905201 0 1377072940
13788 905351 0 1377072941
13788 905416 0 1377072940
13788 905429 0 1377072942
13788 905459 0 1377072941
13788 905474 0 1377072940
13788 905503 0 1377072941
13788 905544 0 1377072942
1489 1918483 0 1377075082
1489 2095557 1 1377073045
1489 2095557 1 1377073057
1489 2172887 0 1377075082
1489 2217633 0 1377075081
1489 2255116 0 1377074844
1489 2260423 1 1377073046
1489 2260423 1 1377073057
1489 2263863 1 1377073046
1489 2263863 1 1377073057
1489 2283598 0 1377074844
1489 2290529 0 1377074844
1489 2290750 0 1377073046
1489 2290750 0 1377073058
1489 2294205 0 1377073046
1489 2294205 0 1377073058
1489 2301212 0 1377073045
1489 2301212 0 1377073057
1489 2303265 0 1377075081
1489 2305124 0 1377073047
1489 2305124 0 1377073058
1489 2305720 0 1377073046
1489 2305720 0 1377073058
1489 2305995 0 1377073047
1489 2305995 0 1377073058
1489 2306102 0 1377073047
1489 2306102 0 1377073058
1489 2307904 0 1377073045
1489 2307904 0 1377073057
1489 2308700 0 1377073046
1489 2308700 0 1377073058
1489 2308872 0 1377073045
1489 2308872 0 1377073057
1489 2309166 0 1377073046
1489 2309166 0 1377073058
1489 2309193 0 1377073046
1489 2309193 0 1377073058
1489 2309489 0 1377073046
1489 2309489 0 1377073058
1489 2309723 0 1377073046
1489 2309723 0 1377073058
1489 2313234 0 1377073046
1489 2313234 0 1377073057
1489 2314163 0 1377074844
1489 2315500 0 1377074844
1489 2317656 0 1377074845
1489 2318521 0 1377073046
1489 2318521 0 1377073058
1489 2320097 0 1377073046
1489 2320097 0 1377073057
1489 2320685 0 1377074844
1489 2322841 0 1377075082
1489 2323347 0 1377074845
1489 2323768 0 1377075081
1489 2324137 0 1377074844
1489 2324230 0 1377075081
1489 2324310 0 1377074845
1489 2324370 0 1377075082
1489 2324471 0 1377074845
1489 2324515 0 1377074845
1489 2324536 0 1377074844
1489 2324586 0 1377075081
1489 2324596 0 1377075081
1489 2324611 0 1377075081
1489 2324652 0 1377075082
1489 2324653 0 1377074844
1489 2324661 0 1377075081
1489 2324690 0 1377074844
1489 2324748 0 1377074844
1489 2324755 0 1377075082
1489 2324757 0 1377075081
1489 2324759 0 1377075082
1489 2324760 0 1377075082
1489 2324765 0 1377074844
1489 2324767 0 1377075082
1489 2324768 0 1377075081
1489 2324769 0 1377074845
1489 2324770 0 1377075081
1489 2324771 0 1377074845
1489 2324773 0 1377074844
7951 2196930 0 1377074642
7951 5793877 0 1377074534
7951 5794616 0 1377074534
7951 5800971 0 1377074534
7951 5898238 0 1377074534
7951 5982421 1 1377074642
7951 5991760 0 1377074642
7951 6046984 1 1377074534
7951 6063271 1 1377074534
7951 6082433 1 1377074642
7951 6085337 1 1377074643
7951 6087099 0 1377074643
7951 6089031 0 1377074534
7951 6095194 0 1377074534
7951 6100033 0 1377074643
7951 6100688 0 1377074642
7951 6101361 0 1377074534
7951 6105881 0 1377074643
7951 6107761 0 1377074642
7951 6109301 0 1377074534
7951 6111929 0 1377074643
7951 6113670 0 1377074534
7951 6114846 0 1377074643
7951 6114891 0 1377074642
7951 6117178 0 1377074534
7951 6117292 0 1377074534
7951 6118241 0 1377074643
7951 6118350 0 1377074534
7951 6118442 0 1377074642
7951 6118491 0 1377074534
7951 6118678 0 1377074534
7951 6118839 0 1377074534
7951 6118888 0 1377074534
7951 6118895 0 1377074643
7951 6118951 0 1377074534
7951 6119059 0 1377074643
7951 6119075 0 1377074642
7951 6119076 0 1377074642
7951 6119077 0 1377074642
7951 6119078 0 1377074534

根据第一列的值去重对第三列求和

11 条回复 • 1970-01-01 08:00:00 +08:00

vibbow

2013-08-21 18:01:25 +08:00

直接导入数据库就好了吗！
反正是一次性的东西，不需要考虑效率，怎么简单怎么来。

felix021

2013-08-21 18:11:15 +08:00

@vibbow 所以才不适合用数据库，太麻烦。

@kenneth
cat data | sort -uk 1 | awk '{s+=$3}END{print s}'

kenneth

2013-08-21 18:17:07 +08:00

@felix021 我只得到了一个值26 ，能否显示
13788 xxx
7951 xxx

leoleozhu

2013-08-21 18:23:44 +08:00 via Android

上面的，改成一个dict就可以都有了

amyangfei

2013-08-21 18:43:19 +08:00

cat data.txt | awk '{a[$1] += $3}END{for (i in a) print i, a[i]}'

vibbow

2013-08-21 19:25:57 +08:00

导入数据库很简单，直接转csv导入就行

然后直接
SELECT COL1, SUM(COL3) GROUP BY COL1

vibbow

2013-08-21 20:09:20 +08:00

用MYSQL做了一次，耗时不到2分钟

结果：
13788 7
1489 6
7951 5

vibbow

2013-08-21 20:13:05 +08:00

既然用到了数据库，当然也可以统计去重的次数了~~~
SELECT `COL1`, SUM(`COL3`) AS 'SUM', COUNT(`COL1`) AS 'COUNT' FROM a GROUP BY `COL1`

COL1 SUM COUNT
13788 7 21
1489 6 80
7951 5 40

vibbow

2013-08-21 20:17:42 +08:00

如果第三列只是0或者1的话，也可以这样玩~~

SELECT `COL1`, COUNT(`COL1`) AS 'COUNT' FROM `a` WHERE `COL3` = "1" GROUP BY `COL1`

czheo

2013-08-21 21:05:00 +08:00

awk '$3>0{print $1}' test | sort | uniq -c

czheo

2013-08-21 21:08:56 +08:00

awk '{a[$1] = a[$1]+$3;}END{for(i in a) print i,a[i]}' test