4 月份开始写的爬虫文章，今天做一个总结

[wisefree]

2017 年 4 月份开始写爬虫系列文章，不知不觉到了 9 月份，时间过的真快，写毕业论文，毕业了，找工作，然后辞职，然后接着奋斗

4 月份开始写，一直断断续续，今天给爬虫文章收一个尾。

文章放到了的个人网站上：www.zhouww.com

Python_爬虫总结

补充了如下内容

• 多进程
• 代理池
• json 处理
• 数据存储
• 手机抓包

有些文章需要些基础，有些文章只讲讲心得。欢迎大家指正，欢迎投稿。

[cxd44]

谢谢，可以写一些对没啥基础的人的教程吗？

[chrisliu1314]

写的很系统。可以加一些爬虫框架，比如，pyspider

[a87150]

写爬虫的时候总觉得有点不好意思，感觉给别人添麻烦了

[a1044634486]

为啥你的站打开好慢，我的天。

[ila]

@chrisliu1314 能否讲讲他和 scrapy 的差异吗

[chrisliu1314]

@ila 没有过 scrapy。。。

[chrisliu1314]

@ila 没有用过

[wisefree]

@chrisliu1314 一直没用过框架，有机会去接触下

[wisefree]

@a1044634486 不会吧，国内 ip 我分流到了 coding 的 pages 上，国外的是 github 的 pages 上

[wisefree]

@cxd44 我的文章需要的基础会在前面说明的，如果加入基础，文章会很长

[wisefree]

@a87150 还好吧，>_<

[26888]

遇到中文网页不是用 utf8 编码(比如是 gb2312)这样的页面，存到数据库里(数据库是 utf8)，一般怎么处理？什么时候转码啊？

[a1044634486]

<img src = "https://i.loli.net/2017/09/16/59bbfb19e2df1.png">

[a1044634486]

第一次进确实很慢，不过现在快了

[wisefree]

@26888 页面——》 Python ——》数据库，python 可以处理的。用 Python 把页面的内容解析出来，存入数据库。

[taochunfan]

老哥您的网站打不开啊！！

[wisefree]

@a1044634486 好吧，感谢反馈。说实话，coding，有时候不稳定，我也会遇到，>_>

[wisefree]

@taochunfan coding 的 pages 和 github 的 pages，应该没有问题啊，我刚刚又试了一遍。（虽然说 coding 有时候不稳定）

[taochunfan]

@wisefree 现在又可以了

[wisefree]

@taochunfan 真心尴尬，具体原因我也不太清楚，抱歉哈