豆瓣 妹子 采集器，Python 处女座。。请各位指教

[O21]

源码请看: /t/122627

Win 版本下载地址

http://good.gd/3091379.htm

我是win7 64位打包的。。不知道各位用会不会有什么BUG

题外话：这个小组真心没什么节操啊！！！


#
本程序必须使用代理抓取，这样做虽然麻烦，但是可以躲过豆瓣禁你Ip
支持自定义路径 测试环境win7 64位 没问题

[O21]

源码奉上
https://gist.github.com/anonymous/c80d37fe51f539942176

[sunny1992]

给力！

[xiandao7997]

写个web的轮询…然后把图片保存下来…

[loveminds]

这是做啥的

[O21]

@loveminds Hello 女神～ 这是采集图片的。。 用下就知道啦。明天会改进现在的有点繁琐

[O21]

来个演示

[loveminds]

@O21 可以采集任何小组图片吧，另外所谓的代理是S5？127.0.0.1:1080 127.0.0.1:7070这样子?

[loveminds]

@O21 例如，html2 = gethtml2('http://www.douban.com/group/cat/discussion?start=%d'%num)

[mengskysama]

lz可以试试加一个代理类，然后抓去一个代理公布页面的所有代理，随机选取。

[loveminds]

@mengskysama 127.0.0.1，代理服务端再切换不同的Shadowsocks

[O21]

@mengskysama 嗯 这是我下一步要做的事情 😄

[O21]

@loveminds http代理 我里面有说明哇 改下源码是可以采集任何小组的

[loveminds]

@O21 那得配合还没发布的Shadowsocks-libYv了，里面有Socks2http功能

[O21]

@loveminds 话说不用啊 直接找个http代理就行 你下载 http://162.244.92.122/DouBanMZ.zip 这个里面有说明啊

[loveminds]

@O21 那些验证是件麻烦事，LibYv大概能提供99.997%的可靠性

[O21]

@loveminds http透明代理啊 主要就是怕抓多了被豆瓣屏蔽

[amon]

方便的话可以弄个web版的吧，v2exmac党居多，哈哈。

[O21]

@amon Mac下 直接跑源码 木有问题的

[loveminds]

@O21 搭建那个东西是件麻烦事，远没有搭建Shadowsocks好用

[Macrov]

哎我这瞎眼，看成python处女采集器了。。。。