有什么关于爬虫比较好的入门教程吗？

[xiaozaiziwyt]

某东上看了一些比较火的爬虫实战的书，发现不是一堆安装就是教程过时……
看得我是各种头疼，浪费生命。
有没有新一些的，可操作性强的呀。
新手入门求推荐。。。

[huruwo]

开发环境的安装过程是必须的，你要是已经安装了就跳过前几章不就行了吗。

[xiaozaiziwyt]

@huruwo 其实环境已经安装好了，我的意思是资料有些过时了，好多代码跑不起来……

[redglede]

视频网课不好吗

[BlackPineappo]

掘金和简书上有很多

[dongya]

直接写， 不用看教程，

[dongya]

@dongya 不用看教材

[Cooky]

request + beautifulsoup 不用学直接裸写

[xkeyideal]

楼主是不是认为爬虫就是将别人的接口数据或网页获取后进行解析？

如果是，那么按照 @dongya 说的，不需要看教程，直接写，用到什么包就去找，或者自己撸即可，没有多少技术含量可言

真正的爬虫，应该是如何破解别人的防爬程序，图片验证码破解，js、浏览器，代理等

各类爬虫实战的书籍都是教你，怎么分布式，如何高性能，哪哪个库解析会比较不错，连个怎么挂代理都不教你，别人服务从源头上把你访问量掐死，这些有啥用？ 还不如去 github 上找些相关的开源项目源码看看呢

一流爬虫是从防爬根源解决问题
二流爬虫是用某些 js 和无头浏览器解决问题
不入流爬虫是写个代码强搞，并发不控制，代理也不挂，拿别人当傻子

[aaa5838769]

request + beautifulsoup

[xiaozaiziwyt]

@redglede 例如哪些呢？没了解过网课这些……

[xiaozaiziwyt]

@BlackPineappo 感觉有些零散，有没有相对系统一些的

[xiaozaiziwyt]

@xkeyideal 刚开始接触，基本没有什么技术可言，想一点一点来……

[Outliver0]

github 上找代码看，然后自己写

[CFO]

拿起 scrapy 的文档就是一把梭

[redglede]

@xiaozaiziwyt MOOC 上有个北京理工大学的爬虫课程，你去搜

[Ehco1996]

https://github.com/Ehco1996/Python-crawler

[BlackPineappo]

@xiaozaiziwyt 《 Python 爬虫开发与项目实战》

[kblacksheep]

崔庆才那本爬虫教程还不错的

[a226679594]

github

[xpresslink]

基本上不用看书，主要依赖于你的综合性基础。

先学一下 Python 语言基础，达到中级水平，正则表达式，常用标准库掌握了，特别是多线程，协程等还有相关的标准库要撸过练习代码。

数据库 Mysql，mongoDB，redis 基础操作都要会。

建设楼主先学一下 web 开发，你先要会 web 服务器是怎么工作的原理。推荐 flask 或 Django，建议 flask 吧，因为那个 sqlalchemy 是个通用 ORM，后面爬虫也常用到。
HTML，JS+Ajax，CSS 很熟悉。
HTTP 协议，Session，cookie，header 明白怎么回事。
前后端是如何交互的，用户登录安全验证等都要明白。

有了上面的基础，然后再学爬虫，都不用看书，随便网上参考一下教程，差不多半天时间就可以写了。
不过 scrapy 这个框架还是要大体学习一下的。