fushshanpupil's recent timeline updates fushshanpupil's recent timeline updates |
fushshanpupilV2EX member #241786, joined on 2017-07-20 09:00:08 +08:00 |
| 打算用 echarts 实现航旅纵横的航线图 程序员 • fushshanpupil • Oct 2, 2024 • Lastly replied by fushshanpupil | 4 |
| 平安集团员工代码大赛组队 程序员 • fushshanpupil • Sep 5, 2023 • Lastly replied by gfswoquasfasd | 6 |
| 100w 个小文件存储问题 问与答 • fushshanpupil • Jan 22, 2018 • Lastly replied by WinMain | 14 |
fushshanpupil's recent replies
Oct 2, 2024 Replied to a topic by fushshanpupil › 程序员 › 打算用 echarts 实现航旅纵横的航线图 |
@xiang578 随便写了一版，比较粗糙
Jan 23, 2024 Replied to a topic by fushshanpupil › 程序员 › 打算用 echarts 实现航旅纵横的航线图 |
@qicaisedeyun 不多，16 年到现在就 37 次
Nov 20, 2019 Replied to a topic by siagasky › 全球工单系统 › Apple 官网这个是什么情况？ |
上海电信，版本 78.0.3904.108 （正式版本） （ 64 位）
无法复现
无法复现
Jan 22, 2018 Replied to a topic by fushshanpupil › 问与答 › 100w 个小文件存储问题 |
@swulling 最新调试结果，最后发现还是由于坑爹的 GIL+threading 库，导致我程序实际上是 IO 密集了，改用 multiprocessing 就跟爬的时候一样 70 个每秒了。
另外感谢各位，提供了很多其他思路，确实还有改进的地方。
另外感谢各位，提供了很多其他思路，确实还有改进的地方。
Jan 22, 2018 Replied to a topic by fushshanpupil › 问与答 › 100w 个小文件存储问题 |
@swulling 对顺序没要求，每个网页都有个 id 的，用 id 选的，我参考下 sqlite blob
Jan 22, 2018 Replied to a topic by fushshanpupil › 问与答 › 100w 个小文件存储问题 |
@rrfeng 提取数据的逻辑随时可能变，不可能每次都再去请求的吧，肯定得保存下来
Jan 22, 2018 Replied to a topic by fushshanpupil › 问与答 › 100w 个小文件存储问题 |
@em70 怪不得，scrapy 的 cache 就是取 hash 后的前两位创建了一层目录
Jan 22, 2018 Replied to a topic by fushshanpupil › 问与答 › 100w 个小文件存储问题 |
@ovear 确实全扔一个文件夹下了。。
Select Language