糗百命令行版：最近学习正则表达式，抛弃了bs4，写了这么一个小爬虫，爬了糗百最近7天热门的糗事儿

[byron]

http://gist.github.com/imbyron/6484591
请多多指教：http://jiabin.tk/2013/09/08/qiubai-regex/

[vibbow]

我觉得直接抓包android版的API更具有可行性......

[byron]

@vibbow 这点儿还没睡？
我目前就会做个简单的爬虫，像抓包什么的api什么的安卓什么？的，实在是心有余而力不足啊。

[Gawie]

同样学习python爬虫中~~~

[missdeer]

整天只用ssh登录控制台使用机器的表示感谢！

[Ansen]

python新新手学习了，

[roricon]

用scrapy呗。很好的爬虫框架，简单易用。
说实话，用re直接处理html实在是太痛苦了。
用scrapy可用它内建的XPathSelector。
不想用框架的话可以用beautifulsoup。

[byron]

@roricon
嗯，谢谢
scrapy没了解过，待我了解了解。
之前用过bs4，但是它的原理也是转换成正则
效率会差很多
直接正则+编译 会快很多

[yanwen]

py 3 可以用？？

[byron]

@yanwen 我是用py 2X写的。
如果要在py 3上使用估计要改动不少地方
比如：
print
raw_input 想关联的地方等等

[itfanr]

@vibbow 安卓版怎么抓？

[vibbow]

@itfanr 模拟器 + WireShark

[chunchu]

为什么我看到的是乱码？

[byron]

@chunchu
你是在win下看的吧？
win下建议用python自带的IDLE，把编码改成#coding:cp936
cmd是会乱码的。

[zhttty]

写的不错，可以用...不过有些内容会被截断，就是一句完整的话有部分不见了...

不过建议作者可以将图片链接也抓出来，保存成形如 [http://xxx.jpg] 形式，这样可以复制链接在浏览器上看。

[csx163]

我记得他的RSS有当日热门的

[byron]

@zhttty
可以把截断的糗事儿反馈给我么？
这里或者gist都可以。

[zhttty]

@byron

截断的那几句话找不到了，好像跟一些表情符号有关。

[spark]

楼主可以尝试Pyquery

[vicence]

@byron 有vim版的qiushibaike.vim

[pandada8]

@byron
bs4基于正则 嗯 are you sure？bs4是基于dom的吧
如果觉得慢的话可以使用lxml + bs4的组合
soup = BeautifulSoup(html,“lxml”)
#如果我没记错的话