首页 注册 登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  ranxi  ›  全部回复第 1 页 / 共 1 页
回复总数  20
2022-07-25 11:10:23 +08:00
回复了 ranxi 创建的主题 › 程序员 › 请教 Python 大佬，遍历一个 5GB 大小的 txt 文件，用什么方式效率比较高
@wxf666 感谢，已解决
2022-07-24 10:17:48 +08:00
回复了 ranxi 创建的主题 › 程序员 › 请教 Python 大佬，遍历一个 5GB 大小的 txt 文件，用什么方式效率比较高
抱歉各位，昨天有事没看回复，我再说明一下。

首先我之前是写 java 的，临时过来写 python ，所以很多用法不了解。
然后 O1 文件其实不是一个规则的 txt ，而是需要解析的 xml 文件，我是用 sax 逐行读取的。这点之前没有详细说明
O2 文件跟之前描述一样，是个表形式的 txt 文件，通过第一列映射第二、三列
2022-07-22 23:11:53 +08:00
回复了 ranxi 创建的主题 › 程序员 › 请教 Python 大佬，遍历一个 5GB 大小的 txt 文件，用什么方式效率比较高
O1 按需求是要逐行读取的，所以只能对 O2 操作。我明天试试 hash 表吧
2022-07-22 23:05:35 +08:00
回复了 ranxi 创建的主题 › 程序员 › 请教 Python 大佬，遍历一个 5GB 大小的 txt 文件，用什么方式效率比较高
@liprais 用不了 sql
2022-07-22 21:49:02 +08:00
回复了 ranxi 创建的主题 › 程序员 › 请教 Python 大佬，遍历一个 5GB 大小的 txt 文件，用什么方式效率比较高
暂不考虑数据库
2022-07-22 21:48:01 +08:00
回复了 ranxi 创建的主题 › 程序员 › 请教 Python 大佬，遍历一个 5GB 大小的 txt 文件，用什么方式效率比较高
@Richard14 试了下 pandas ，查一次要 3 ，4 秒，查几百万次完全查不动啊
2022-07-22 21:46:31 +08:00
回复了 ranxi 创建的主题 › 程序员 › 请教 Python 大佬，遍历一个 5GB 大小的 txt 文件，用什么方式效率比较高
@jarence 两个文件 O1 和 O2 ，可以理解成两张表，每行\t 分隔，O1 每行是 a ，b ，c ，其中 c 需要映射成另一个值 d ，这个映射关系在 O2 文件里（ c ，d ），O2 文件大概有 5GB ，几亿行数据。
2022-07-09 21:40:11 +08:00
回复了 ranxi 创建的主题 › 生活 › 家人们，程序猿都是怎么找到对象的
@threeEggs123 妙啊
2022-07-04 17:30:33 +08:00
回复了 ink19 创建的主题 › 程序员 › 各位大佬用的都是什么键盘啊？来交流一下呗～说说原因和体验
家里用的达尔优 a98 天空轴 v3 ，手感确实不错，打字游戏都可以
公司用的自己客制化定制键盘，mk870 配 ttc 金粉，性价比较高
2022-06-09 19:20:24 +08:00
回复了 ranxi 创建的主题 › 生活 › 家人们，程序猿都是怎么找到对象的
@xhslyf 学到了
2022-05-16 16:03:19 +08:00
回复了 ranxi 创建的主题 › 程序员 › 各位，在工作或生活上有没有一直在坚持的好习惯
@stephenyin 身体吃不消
2022-05-16 15:52:24 +08:00
回复了 CaptainD 创建的主题 › 耳机 › 关于真无线降噪耳机
@CaptainD 试试 xm4 吧，降噪上也没有比索尼更好的了，实在不行可以用头戴式的
2022-05-16 15:35:52 +08:00
回复了 ranxi 创建的主题 › 杭州 › 滨江伟业路这边，有没有小伙伴来打乒乓球哇
@TimPeake 乒乓球哇，可以约一下
2022-05-16 15:35:31 +08:00
回复了 ranxi 创建的主题 › 杭州 › 滨江伟业路这边，有没有小伙伴来打乒乓球哇
@TimPeake 害怕
2022-05-16 14:12:48 +08:00
回复了 ranxi 创建的主题 › 程序员 › 各位，在工作或生活上有没有一直在坚持的好习惯
知往者之不谏，觉来者之可追，实迷途其未远，悟今是而昨非
2022-05-16 13:52:35 +08:00
回复了 CaptainD 创建的主题 › 耳机 › 关于真无线降噪耳机
xm3 用了两年了，感觉降噪效果是可以的，缺点是上班听歌导致领导喊我听不见
2022-05-16 13:48:45 +08:00
回复了 13936 创建的主题 › 知乎 › 你人生中最引以为豪的一件事情是什么
下雨会打伞，有太阳也会打伞（开玩笑）。其实好好活着就挺好了。
2022-05-16 13:43:21 +08:00
回复了 ranxi 创建的主题 › 程序员 › 各位，在工作或生活上有没有一直在坚持的好习惯
@eryajf 写工作上的内容吗，还是每天自学的东西
2022-05-16 13:42:41 +08:00
回复了 ranxi 创建的主题 › 程序员 › 各位，在工作或生活上有没有一直在坚持的好习惯
@ngrok111 有理
2022-05-09 16:13:37 +08:00
回复了 workingonescape 创建的主题 › 杭州 › 杭州开发交流群有没有 V 友上车啊，搜了一下站内的，都加不了了
@workingonescape ranxi23 ，拉一下
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1262 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 20ms · UTC 17:35 · PVG 01:35 · LAX 09:35 · JFK 12:35
Developed with CodeLauncher
♥ Do have faith in what you're doing.