小白写了个壁纸的爬虫,能跑起来,但是感觉很慢,不知道怎么回事,请大佬指点

2019-07-14 12:11:59 +08:00
 snake8090

我知道命名很烂,轻喷,全靠字典直译的! 弄了两个小时才弄出来个 gist 链接,第一次用,凑合看吧

https://gist.github.com/snake1080/817242ef0c0828d7eb3c20692ec2b2c1

3908 次点击
所在节点    Python
17 条回复
Buges
2019-07-14 12:14:36 +08:00
多线程并发
arrow8899
2019-07-14 12:16:20 +08:00
感觉慢?? debug 下不就知道哪慢了吗
locoz
2019-07-14 13:00:02 +08:00
因为发请求的时候没有并发,每一个图片在下载的时候必须要等待上一个图片的下载流程结束
Raisu
2019-07-14 13:05:54 +08:00
楼主代码太乱了
Hopetree
2019-07-14 13:07:42 +08:00
IO 密集型用多线程
snake8090
2019-07-14 15:20:24 +08:00
@Buges
@locoz
@Hopetree
刚接触 python 两三个月,什么是多线程并发?
cherbim
2019-07-14 15:28:50 +08:00
@snake8090 哈哈哈哈哈,简单看了一下,你的脚本是下完一张图片后才开始下第二张,能不慢么,去看看多线程吧,让他同时多个照片下载
snake8090
2019-07-14 15:30:19 +08:00
@cherbim 正在搜索什么是 多线程 哈哈
whoami9894
2019-07-14 15:38:22 +08:00
有什么好问的,去补基础
Dart
2019-07-14 19:21:35 +08:00
小白多进城 即可
cwjokaka
2019-07-14 19:27:12 +08:00
用多线程,顺便再安利一波我的 https://github.com/cwjokaka/bilibili_member_crawler 里面也用了多线程
cwjokaka
2019-07-14 19:42:58 +08:00
https://github.com/piglei/one-python-craftsman 再介绍一个别人(大佬)的项目,是关于编码习惯和 python 技巧的。内容很少但很精炼,我也是看完才动手写项目的
Perterually
2019-07-15 09:15:11 +08:00
2333....一路循环...我看到了我第一次写爬虫时候的风格
Atukey
2019-07-15 09:28:06 +08:00
只要不怕 IP 被拉黑
多线程 多进程 并发
snake8090
2019-07-15 10:25:14 +08:00
@cwjokaka 多谢 正在找多进程的基础教程看
txy3000
2019-07-15 13:05:44 +08:00
去看看 asyncio 和 asynchttp
locoz
2019-07-15 19:00:41 +08:00
@snake8090 刚在我公众号上推了篇文章,讲怎么改你这个代码的,可以看看: https://mp.weixin.qq.com/s/ZDsoEVY0T2GI9E34dkfUZw

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/582826

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX