首页
注册
登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请
登录
Distributions
›
Ubuntu
›
Fedora
›
CentOS
中文资源站
›
网易开源镜像站
V2EX
›
Linux
iconv 这个渣渣居然不支持 pipe。。。。文件都读到 buffer 里去了
est
·
est
·
2015-05-06 23:16:11 +08:00
· 2298 次点击
这是一个创建于 3445 天前的主题,其中的信息可能已经有所发展或是发生改变。
https://sourceware.org/bugzilla/show_bug.cgi?id=6050
https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=328303
用stdbuf -o 0 这么伟大的hack都不能拯救这个渣渣。
zcat myfile | iconv -f gb2312-t UTF-8 | pv > myfifo
观察了n久,pv一动不动!!!!我2G的文件啊!!!
于是果断用一行python代替了iconv
zcat myfile | python -c "for l in __import__('sys').stdin:print l.decode('gb2312', 'ignore').encode('utf8')" | pv > myfifo
用pv >/dev/null试了下效率,速度为40M/s基本跑到了硬盘瓶颈。
iconv
zcat
myFile
4 条回复
•
2015-05-14 19:24:47 +08:00
1
julyclyde
2015-05-07 11:27:42 +08:00
因为解码算法需要回溯吧?
2
est
OP
2015-05-07 12:59:13 +08:00
@
julyclyde
那也可以buffer弄小一点啊。。。。。。。16M的buffer足够了吧。。。
3
est
OP
2015-05-07 12:59:41 +08:00
想了下,不对啊。为啥python的就可以pipe。。。
4
jarlyyn
2015-05-14 19:24:47 +08:00
iconv最奇葩的是
nodejs 用pure js实现的iconv-lite库号称比调用iconv的库快
关于
·
帮助文档
·
博客
·
API
·
FAQ
·
实用小工具
·
2879 人在线
最高记录 6679
·
Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 31ms ·
UTC 14:19
·
PVG 22:19
·
LAX 07:19
·
JFK 10:19
Developed with
CodeLauncher
♥ Do have faith in what you're doing.