在做一个爬虫程序，图片的服务器用的是qiniu。
要求：
- 能够在比较短的时间内完成一个链接的爬取。
- 最终，可以把图片文件，存在我们自己的七牛服务器上。
现在碰到一个问题，就是爬一个链接的时候，大量的时间都耗费在了上传图片上。怎么样提高爬取单个链接的效率？
我先提一种解决方案：
先爬站的内容，然后图片用原始的图片链接。然后用工作线程循环查找还有哪些图片没有上传的，依次上传。但是感觉这种设计很复杂，工作线程要查找每个图片的字段，如果以后有新的图片字段，那么这部分逻辑又需要改。
This topic created in 3921 days ago, the information mentioned may be changed or developed.
1
Select Language