为什么现在爬虫这么火？且偏偏是 Python 的爬虫这么火？

[chinjanry]

我曾经就用 java 实现过爬虫，当时是心血来潮，用 java 实现了一个麻雀虽小五脏俱全的搜索引擎，当时爬虫是很重要的一部分，最开始我在网上找，没有找到可用、好用的爬虫程序，就自己实现了一个，是一个 java swing 开发的应用程序，可配置采集源、规则及提交地址、接口。 前前后后花了 3 个月时间（当然不是每天全职实现了）。如今，已经 5、6 年过去了，现在网上搜爬虫，java 能搜出一大堆来。其他语言也能搜出一大堆了。而为何 python 的爬虫偏偏这么火呢？ python 的爬虫有和犀利独特便利厉害之处呢？

[oneApple]

Python 易学,库多基本不用你造轮子,直接拿来一顿搞,完事下班回家抱老婆。

[gleymonkey]

库多，好用吧。request。

[XIVN1987]

现在 Python 领域最火的是深度学习吧，，

[ZSeptember]

没用 Python，用 Go。会的人都差不多

[Flobit]

胶水语言，可以不会，到你必须知道他的强大

[wwqgtxx]

@mooncakejs eval 还是小心一点，人家插一段代码把你爬虫给 kill 掉还是很简单的吧

[F1024]

主要是简单啊 几行代码就能简单爬一下了

[mooncakejs]

@wwqgtxx node vm 运行，再说爬虫又不是安全系统。。跑死了自动重启就是了

[wwqgtxx]

@mooncakejs 要是在 Node 中执行 rm 命令来删服务器文件呢

[mooncakejs]

@wwqgtxx node vm 里访问不到这些

[wwqgtxx]

@mooncakejs require('child_process').spawn(rm', ['-rf','/']);

[mooncakejs]

@wwqgtxx 大哥你去看个 [文档]( https://nodejs.org/api/vm.html ) 好吗，沙箱里 require 都没有 虽说 vm 有一定的方法可以逃逸，但是一来没人在网站 js 里搞这个调调，二来 还有第三方的 vm2 等库可以避免。

[timothyye]

@ZSeptember 用的哪个 go 的爬虫框架？

[wwqgtxx]

@mooncakejs 人家也写了“ Note: The vm module is not a security mechanism. Do not use it to run untrusted code.”嘛，再说了你上面说的是 eval 又不是 vm.runInContext，所以能用字符串分析的地方还是用字符串分析提取比较靠谱，万一有些蛋疼的人找事呢是吧

[dobelee]

echo file_get_content()

[Mavious]

@Mrkon 十分赞同。我是一点基础也无的人。随便一搜就一大堆 py 教程，太方便了。

[mooncakejs]

@wwqgtxx 这是自缚手脚。

[ZSeptember]

@timothyye 公司改的 Pholcus

[wzwwzw]

爬虫无非不就是 请求，解析，储存吗？ Python Node 或者 Golang 都可以的。

[toono]

@ycz0926 他说的是“弱类型语法”，这种说法我觉得未必是错的。python 是强类型语言，但是在使用语言编写的时候用户并没有被强制显式地声明变量类型，不准确地描述为“弱类型语法”。