手把手教你写煎蛋妹子图爬虫。。。

[jason52]

缘起
====

爬虫从妹子图练起最好了，煎蛋防护系统比较弱，你要一开始上手大众点评，豆瓣，那好了，先上淘宝买代理吧。。。。

而且这个例子好好啊，可以直接从正则表达式匹配技术讲起，在用bs，再到pyquery。。。。

顺带讲讲fiddler，firebug之类的。。。

@jookr 大叔 @ 你了！！！
===

第一次录screencast，真是巨麻烦。而且质量还不高。。演练没到位。。。

destroy all software能在15分钟左右制作出质量这么高的视频真心不容易，自己做一次就知道了。

视频链接： http://pan.baidu.com/s/1i3mXwBN

效果链接： http://v2ex.com/t/171077
这是无聊图的，妹子图现在都很黄很暴力了，不和谐~~

[kungfuchicken]

煎蛋防护比较弱...

[zqjilove]

近期正好想了解python爬虫。看了视频，有些收获。谢了

[jason52]

@zqjilove 欢迎提问，我觉得后面讲的有点快了，有网上教人画马那个梗的感觉，是个圈圈画好，下一步，直接就是一匹栩栩如生的马出来了。

不过有没法讲的太详细，必须假设有一定的html基础和python基础。边界的确定有点麻烦。。。

另外，在制作过程后期压制视频的时候，（之前没弄过），真心体会到 码率叫你做人这句话。第一个版本压制出来3G多。经过我多次试验，已经找到比较合适的参数，可以在20min下90m以内，比这个版本更加清晰，比较适合screencast。

另外视频托管，优酷土豆之类都嫌贫爱富，上传上去转压的一塌糊涂，还是直接发布视频文件最为清晰。

同时不知道斗鱼用了什么黑科技，竟然这么清晰。。。烧钱吧

[jimmy66]

虽然之前看过这个了http://blog.fishc.com/3646.html，但是还是要感谢了

[Sylv]

@kungfuchicken 看这头像应该是 @colt ？呵，lz 小心 @colt 封你 ip，你就没妹子图看了。

[jason52]

@Sylv 还没上多线程呢~~~哈哈

[jookr]

谢了 谢了

[caixiexin]

看到好多人写爬虫第一个作品就是爬煎蛋23333

[SquirrelMAN]

说话中气不足啊，要多运动了。。

视频内容不错，有帮助

[jason52]

@SquirrelMAN 大概早上debug妹子图时间长了╮(╯▽╰)╭~~~所以拿无聊图来演示~~

[doomgiant]

非常感谢，mark回去看！

[reticentfat]

谢谢，下班回家练练

[xiaket]

看了两三分钟后觉得用Linux下的工具抓会更方便, 于是又花几分钟测试写脚本, 在第八分钟前就能跑了...

新人入手玩爬虫还是入Linux的坑更合适, curl/sed/awk做这个事情比pyquery方便太多了, 而且方便多进程提高效率. 顺便慰问下在Windows下开发的同学们, 你们真是辛苦了...

[zhangchioulin]

有空就把视频看了，谢谢

[66beta]

煎蛋把全文RSS给关了，楼主有兴趣做一个不？

[ZHenJ]

应该加个帅选，只要NSFW的（跑

[ETiV]

我只想知道淘宝上卖代理的关键词是啥

[Earthman]

楼主试试传bilibili，可以直传，免二压

[mozutaba]

难道不是先抓1024？

[jason52]

@ETiV 我一直以为他不是独立托管的。。。没有邀请码呀~~
@xiaket 简单的是shell方便，要带cookie，代理起来就麻烦一点了。而且正则表达式技术完全是对字符串的解析嘛~~~库还是要用用的。。import 在手，天下我有耶shahua٩(๑`^´๑)۶
@mozutaba 出门左转hard--seed走起 O(∩_∩)O哈哈~
@kungfuchicken 站长你好~~摸摸头~~~站长不要改版~~~放新人一条生路~~~阿门~~~
@66beta 雅虎不有个管道啥的。。。专门搞这个~~~