ranxi's recent timeline updates ranxi's recent timeline updates |
ranxiV2EX member #579531, joined on 2022-04-28 10:47:43 +08:00 |
 |
Per ranxi's settings, the topics list is hidden |
Deals info, including closed deals, is not hidden
ranxi's recent replies
Jul 25, 2022 Replied to a topic by ranxi › 程序员 › 请教 Python 大佬，遍历一个 5GB 大小的 txt 文件，用什么方式效率比较高 |
@wxf666 感谢，已解决
Jul 24, 2022 Replied to a topic by ranxi › 程序员 › 请教 Python 大佬，遍历一个 5GB 大小的 txt 文件，用什么方式效率比较高 |
抱歉各位，昨天有事没看回复，我再说明一下。
首先我之前是写 java 的，临时过来写 python ，所以很多用法不了解。
然后 O1 文件其实不是一个规则的 txt ，而是需要解析的 xml 文件，我是用 sax 逐行读取的。这点之前没有详细说明
O2 文件跟之前描述一样，是个表形式的 txt 文件，通过第一列映射第二、三列
首先我之前是写 java 的，临时过来写 python ，所以很多用法不了解。
然后 O1 文件其实不是一个规则的 txt ，而是需要解析的 xml 文件，我是用 sax 逐行读取的。这点之前没有详细说明
O2 文件跟之前描述一样，是个表形式的 txt 文件，通过第一列映射第二、三列
Jul 22, 2022 Replied to a topic by ranxi › 程序员 › 请教 Python 大佬，遍历一个 5GB 大小的 txt 文件，用什么方式效率比较高 |
O1 按需求是要逐行读取的，所以只能对 O2 操作。我明天试试 hash 表吧
Jul 22, 2022 Replied to a topic by ranxi › 程序员 › 请教 Python 大佬，遍历一个 5GB 大小的 txt 文件，用什么方式效率比较高 |
@liprais 用不了 sql
Jul 22, 2022 Replied to a topic by ranxi › 程序员 › 请教 Python 大佬，遍历一个 5GB 大小的 txt 文件，用什么方式效率比较高 |
暂不考虑数据库
Jul 22, 2022 Replied to a topic by ranxi › 程序员 › 请教 Python 大佬，遍历一个 5GB 大小的 txt 文件，用什么方式效率比较高 |
@Richard14 试了下 pandas ，查一次要 3 ，4 秒，查几百万次完全查不动啊
Jul 22, 2022 Replied to a topic by ranxi › 程序员 › 请教 Python 大佬，遍历一个 5GB 大小的 txt 文件，用什么方式效率比较高 |
@jarence 两个文件 O1 和 O2 ，可以理解成两张表，每行\t 分隔，O1 每行是 a ，b ，c ，其中 c 需要映射成另一个值 d ，这个映射关系在 O2 文件里（ c ，d ），O2 文件大概有 5GB ，几亿行数据。
Jul 9, 2022 Replied to a topic by ranxi › 生活 › 家人们，程序猿都是怎么找到对象的 |
@threeEggs123 妙啊
Jul 4, 2022 Replied to a topic by ink19 › 程序员 › 各位大佬用的都是什么键盘啊？来交流一下呗～说说原因和体验 |
家里用的达尔优 a98 天空轴 v3 ，手感确实不错，打字游戏都可以
公司用的自己客制化定制键盘，mk870 配 ttc 金粉，性价比较高
公司用的自己客制化定制键盘，mk870 配 ttc 金粉，性价比较高
Jun 9, 2022 Replied to a topic by ranxi › 生活 › 家人们，程序猿都是怎么找到对象的 |
@xhslyf 学到了
Select Language