请问最佳的爬虫语言是什么

[dfgddgf]

如果需要多线程（多端口）下载网页，保证下载速度和网页解析速度和开发速度的在合理的范围之内，哪一款语言是最优的。

golang 并发使用最强的，在正则匹配速度，爬虫软件包的丰富程度上和 perl 、python 还有不小差距。

pyhon 的异步下载引擎貌似使用不是特别方便（个人对 pyhon 不熟，勿喷）

php 有 https://github.com/walkor/Workerman 这样的高性能网页服务器框架，有没有易用的爬虫框架？

node.js 异步下载貌似很强大，有没有大型爬虫项目使用 node.js 做爬虫，同时网页解析，文件处理，unicode 转码全部使用这个语言的爬虫案例？

perl 有一个 mojo::useragent 配合 libEV ，并发能力很强大。perl 在文本正则处理、文本编码转换，网页 dom 解析都有成熟的处理方案和软件包，这个是目前作者最喜欢的平台。

c# 据说是最强大爬虫平台，没接触多少。

java 平台性能很强劲，软件包也丰富，笔者知之甚少。

rust 貌似爬虫全套组件都有，而且比较新。貌似可以做出极致压榨硬件性能的方案。

[uqf0663]

如果有一天 楼上的人熟悉易语言，就会知道论搞爬虫这方面，在易语言面前楼主列的这些外国玩意都是渣渣。

[zzl22100048]

@ljtnine
@wxf666
- 之前版本超时控制有问题，task 放入 eventloop 开始算，现在独立出来一个 timeout 类；
- 高并发下有概率出现读取 tcp 流的异常和 broken pipe 异常；
- session 不能携带之前的 cookie ；

[duke807]

python

[tikazyq]

python

[tikazyq]

比较 popular 的爬虫合集，不用谢
https://github.com/BruceDone/awesome-crawler

[wxf666]

@zzl22100048

> 高并发下有概率出现读取 tcp 流的异常和 broken pipe 异常；

Emm 。。反正我做了错误检测，超时 /错了就重试。也不知道频不频繁


> session 不能携带之前的 cookie ；

也没注意这个问题，因为爬的小说不要求登录。。

[locoz]

想用啥用啥啊，为什么要局限于一个语言？语言只是个工具而已