Maerd's recent timeline updates Maerd's recent timeline updates |
MaerdV2EX member #633209, joined on 2023-06-09 11:25:45 +08:00 |
 |
Per Maerd's settings, the topics list is hidden |
Deals info, including closed deals, is not hidden
Maerd's recent replies
6 days ago Replied to a topic by shilianmlxg › 程序员 › superpowers 太慢了，每天的工作蹬不完，有没有功能相似但速度快的 skill |
简直慢到没朋友啊
Mar 25 Replied to a topic by windings › 分享创造 › 做了个返利小程序，网购能省不少钱，欢迎体验 |
lz 私一下？
Apr 14, 2025 Replied to a topic by chman › 程序员 › 为什么 AI 发展这么久了，却没有大规模真正整合进传统软件？ |
不用 vscode 的？ copilot 都集成两年了，现在都支持 mcp agent 了
Feb 8, 2025 Replied to a topic by bwijn › Python › scrapy 的 item 队列把内存挤爆 |
pipeline 处理 item 比抓取还慢？那要考虑你的储存架构设计方式了，自己存东西怎么会比爬慢
如果暂时无法解决，将 item 队列从内存队列换为磁盘队列即可，这样会 spider 在 yield item 的时候，item 会被先序列化到磁盘上，就不占用内存了
还有楼上说的 io 和计算没分离纯属没怎么用过 scrapy
如果暂时无法解决，将 item 队列从内存队列换为磁盘队列即可，这样会 spider 在 yield item 的时候，item 会被先序列化到磁盘上，就不占用内存了
还有楼上说的 io 和计算没分离纯属没怎么用过 scrapy
Jan 15, 2025 Replied to a topic by HawkinsSherpherd › Python › 有什么好办法限制 Python 的内存分配吗？ |
这种大文件，就不适合在内存中操作，正确的方法是使用虚拟内存
import mmap
可以将直接将一个硬盘文件变为虚拟内存
这样的进行写入的好处不只是省内存，还减少了一次用户态和内核态之间的切换
import mmap
可以将直接将一个硬盘文件变为虚拟内存
这样的进行写入的好处不只是省内存，还减少了一次用户态和内核态之间的切换
Jan 6, 2025 Replied to a topic by Maerd › 酷工作 › 阿里控股爬虫工程师、数据采集高级工程师/专家内推 |
@feiniu 只要 app ，之前是爬阿里的也可以，现在还在招聘
Dec 23, 2024 Replied to a topic by Maerd › 酷工作 › 阿里控股爬虫工程师、数据采集高级工程师/专家内推 |
@AFOX 是电商数据吗？可以加个微信聊聊？
Dec 23, 2024 Replied to a topic by Maerd › 酷工作 › 阿里控股爬虫工程师、数据采集高级工程师/专家内推 |
@HenryHe613 我们这边领导没那么多条条框框，招的人能解决问题就行
Oct 15, 2024 Replied to a topic by Chrisz2zz › 程序员 › 国内开发者会为什么产品买单呢 |
copilot
Oct 15, 2024 Replied to a topic by godFree › Android › 求助使用一加手机并 Root 的大佬现身说法 |
APatch 自身是有这个功能的
Select Language