 |
harmlessV2EX 第 272047 号会员，加入于 2017-12-03 19:46:58 +08:00今日活跃度排名 7601 |
harmless 最近回复了
16 小时 44 分钟前 回复了 drymonfidelia 创建的主题 › 程序员 › 要对单个 6.20TB 的超大 csv 文件保持顺序的情况下进行去除重复行，有什么好思路？显然不可能加载进内存 |
203 亿行全部计算成 hash ，再加上行号，大概 700 多 G
1. 遍历每行，计算出 hash ，按 hash 第一位将 hash 和行号写入不同的文件，例如 hash 第一位为 0 ，则写入 hash_0.txt ，这样一共会有 16 个文件，每个文件大概 40 多 G
2. 分别对每个文件按 hash 排序，找出重复的需要删除的行号，记录到文件中
3. 遍历原始文件，删除需要删除的行
1. 遍历每行，计算出 hash ，按 hash 第一位将 hash 和行号写入不同的文件，例如 hash 第一位为 0 ，则写入 hash_0.txt ，这样一共会有 16 个文件，每个文件大概 40 多 G
2. 分别对每个文件按 hash 排序，找出重复的需要删除的行号，记录到文件中
3. 遍历原始文件，删除需要删除的行
17 天前 回复了 kylebing 创建的主题 › 问与答 › 假如你有 10w 可支配的钱，你愿意借给朋友多少？ |
借了两次 20 万给朋友，都还了
22 天前 回复了 Fader10 创建的主题 › SSL › 目前有什么免费的 ip 证书吗 |
看看 lego 这个证书管理工具，好像支持 ip 证书自动续期
41 天前 回复了 xiaoxiaohaoa 创建的主题 › Python › 关于非程序员尝试写的脚本虽然能跑但内存爆了这件事 |
感觉脚本没啥问题，是不是机器上有其他服务导致内存周期性暴增
62 天前 回复了 nunterr 创建的主题 › 硬件 › 各位大佬帮看一下，这配置能做家庭服务器使用嘛 |
肯定够了 配置比你这个低都能同时跑好几台 windows 和 linux ，另外，多个 ip 不需要多个网卡
Select Language