Future 多线程用 urllib 抓取的优化

[hunk]

exsi 虚拟机分配 8 核 cpu，8G 内存。
Future 使用 8 线程，50 多万条链接，有些无效链接。
一下子添加任务，运行一段时间后会被因内存不足被杀死，无奈只好每隔 0.3 秒添加一个任务。
请问还有啥办法好优化提高速度不？

[northisland]

抓取的结果，放硬盘，还是内存？