野生程序员斗鱼直播写爬虫，抓双十一秒杀商品

[laoyuan]

爬虫写好了再写个网站把商品列表挂出来，今年准备全部开源。
直播地址 http://www.douyu.com/laoyuan
项目地址 https://github.com/laoyuan/wanggoumiji

[yidinghe]

666666

[Joan]

666666

[laoyuan]

第一次提交代码，是去年写的爬虫
https://github.com/laoyuan/wanggoumiji

[laoyuan]

已经发现了一种模式，会场页
<div class="J_tabs 前一个 <textarea class="J_dynamic_data" 里面就是秒杀商品数据

例： https://pages.tmall.com/wow/act/16495/industry_1179

[laoyuan]

又发现一种模式
data-mod-name="mui/zebra-act-ms-240x240/index-pc" data-config="

例： https://pages.tmall.com/wow/act/16495/industry_309

[qcloud]

正在看直播， 2333 ，找半天找不到你这个帖子，刚才看你发帖子，本想你刚发，我就来评论的，结果到现在才找到这个帖子。

[m939594960]

去年就看你直播来着

[a570295535]

太卡了，虽然我看不懂，但我鱼丸 19345

[laoyuan]

@a570295535 好像无线路由器有点问题，我再买个新的。好在今年写的开源了，想用的可以直接看代码。

今天就播到这里了，明天把 pyspider 部署到生产环境开始跑，然后写个网站把抓到的秒杀商品列出来方便大家看。

[Dirlllee]

用哪些工具

[la0wei]

错过直播了怎末办

[laoyuan]

@la0wei 有代码啊，我再提交下

[twc731]

错过了

[twc731]

希望大神以后可以录一份录像，能学习一下

[laoyuan]

有代码看啥录像啊。爬虫跑了一晚上数据是这样的：
双十一总共 400 个会场页面，涉及 5700 家店、 12000 件商品，其中秒杀商品大概有 500 到 1000 件，我打算直接跑商品页面来识别秒杀，不在会场识别模式了。

[RobertYang]

无话可说只有 6666

[Vizogood]

我只能送你 6666 辛亏没去阿里 233

[ixinshang]

牛逼

[kang000feng]

@laoyuan 大神, 网站写好了吗, 期待商品列表挂出来,谢谢!

[laoyuan]

@kang000feng 看看今天能挂出来吧，就一个列表页面应该可以