第一次写爬虫，爬了课程格子的校花榜

[mianju]

果然是大过年了闲了蛋疼， 给自己找乐子。写了个很简陋的爬虫，爬校花。请原谅我，性能是硬伤> <
kechenggezi-Spider
有大牛愿意帮忙改进么。。。

[penjianfeng]

校花榜...要不我也去爬一下...

[jackyuJ]

= = 你可以再尝试弄个聚类。

[xuxiangyang]

@lianxiangru 可以发简历，然后私聊~

[mianju]

@xuxiangyang 当然有兴趣> <,没想到第一次做爬虫就能引起课程格子的注意，还担心写爬虫会违法括弧哭。

[mianju]

@ahxxm 非常感谢你的提醒，在后面我会改进的

[mianju]

@lijsh 做这个是心血来潮，当时也没考虑太多，就随便先写出一个，来测试一下是否真的能跑完全部的头像

[luw2007]

爬取图片没有什么好的办法。 如果过频繁抓取。 会被禁用掉得。

+++ b/xhspider.py
@@ -42,12 +42,12 @@ def main():
#以下代码为保存图片
count += 1
conn = requests.get(p[i]['avatar_url'], cookies=cookies,headers=headers)
- name = str(i) +'.jpg'
+ name = str(count) +'.jpg'
f = open(r'/path/to/save/'+ name,'wb') #填写保存位置
f.write(conn.content)
f.close()
@Kirscheis 保存的逻辑有问题。

[mianju]

@luw2007
我写的处理方式是修改请求中的 cur_time ，见 xhspider.py 文件，虽然效率低，但是确实能跑完。

[luw2007]

@mianju 服务端封禁请求方法很多。 目测目前这个接口没有做访问限制。
最严厉的限制是封 ip ，一般的做法是利用大量第三方代理去下载图片。