第一个 python 程序,抓取某网站表情包

2016-06-09 13:14:42 +08:00
 lovebeyondalways

python3 看了一个月了,爬虫也看了一个月,参考网上的例子自己做了个爬虫,调试中还有很多问题。
希望 v 友们帮忙看看,有哪些不规范的地方,哪里需要改进。请指点一二。
地址: https://github.com/piaokorg/download_qq.yh31.com_picture/blob/master/download.py

5929 次点击
所在节点    Python
28 条回复
lovebeyondalways
2016-06-09 16:14:02 +08:00
我靠 端午没人吗
eric6356
2016-06-09 16:36:44 +08:00
1. page -= x 这一行似乎有错误吧,没太看懂;
2. 你使用了 with open 的话,一般不需要手动 f.close() 了。
icedx
2016-06-09 17:00:21 +08:00
一个月就这水平 看起来没救了
binux
2016-06-09 17:06:54 +08:00
你 try..except 之后 print('pages no found'),也不返回个空数组,后面 img_addrs 不一样要错,连错误原因都不知道,还不如直接抛异常呢。
gkiwi
2016-06-09 17:14:40 +08:00
一点建议:函数返回一致性(瞎编的。。);

find_img 这个函数在 try_catch 时候, catch 之后,最好返回一个空数组 `return []`,默认返回 None ,会触发 download 中的异常,也是完全没有必要的。返回同一种类型,否则容易造成困惑。。
gkiwi
2016-06-09 17:15:36 +08:00
@gkiwi 删掉,参考 binux 就好。。回复慢了。。
bdbai
2016-06-09 17:19:35 +08:00
@icedx 大神给点建议呗
winterbells
2016-06-09 17:43:32 +08:00
第一个 python 程序不应该是 hello world! 吗乁(๑˙ω˙๑乁)
mystryl
2016-06-09 19:15:26 +08:00
ccfinfo.leanote.com
不才一个月的爬虫产品 完全实用主义投产的。。抓行业网站写报告用 代码就不放了 非科班 能用就行。
bingxx
2016-06-09 19:24:05 +08:00
代码 os.mkdir 路径不应该写死吧
GhostEX
2016-06-09 20:26:00 +08:00
@mystryl 好厉害,求 git 链接,我最近也在做类似的,不过抓去的是什么值得买的商品。。。
lovebeyondalways
2016-06-09 20:36:50 +08:00
@icedx 我靠不是吧 我之前没有编程基础
lovebeyondalways
2016-06-09 20:56:17 +08:00
吸取楼上所有建议
goodan
2016-06-09 21:07:39 +08:00
@icedx 同求大神建议
lovebeyondalways
2016-06-09 21:29:01 +08:00
@eric6356 我是想递减的 请问怎么做
eoo
2016-06-09 23:46:49 +08:00
爬虫一个月 速度确实“快”
ila
2016-06-10 00:15:46 +08:00
无任何基础一个月写出爬虫,前面开嘲讽光环的有意思吗?
不如提点你们的经验吧。

如果不用 scrapy 等框架,
建议 requests+bs4 。
简单快捷。
然后打怪升级,
爬一个感兴趣的项目和大众化的项目,
例如汤不热的图片和电商的商品价格。
汤不热现在需要翻墙。
hellogbk
2016-06-10 00:15:57 +08:00
估计楼上那些讽刺楼主的都是刚出娘胎就会编程从来没有过新手期的牛人
:)
楼主加油。
upczww
2016-06-10 00:24:45 +08:00
楼主加油,谁都有菜的时候
Lneayce
2016-06-10 00:32:19 +08:00
对没有接触过多少的, 又没人带, 自己搜集资料入门看书看基础什么的, 不管时间多久, 第一次在不熟悉的领域做出东西来的应该还是多点意见和意见吧, 喷真的没意义,
建议楼主同时还可以打打基础, 思想是通用的, 这样以后换个语言环境什么的上手就会快点的,

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/284592

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX