用 js 写了个爬虫代理 ip 池！感觉比 Python 写的快点

2019-03-23 17:30:32 +08:00
 MrCard

用 python 也写过类似的爬虫，开了多线程，运行速度和 js 写的有点差距 这是地址，欢迎大家试用！ https://github.com/Card007/Proxy-Pool

3637 次点击
所在节点    程序员
12 条回复
twotiger
2019-03-23 17:58:52 +08:00
提个建议,把 node_modules 忽略了
MrCard
2019-03-23 18:07:36 +08:00
@twotiger 好建议，谢谢
orangeade
2019-03-23 18:12:00 +08:00
Android 主流方式都是 gevent 或者 asyncio，不见得会慢
orangeade
2019-03-23 18:12:20 +08:00
android -> python 打错
delectate
2019-03-23 18:18:49 +08:00
一般都是协程，实在不行多进程协程，跑满很轻松。就这点而言，不觉得 py 慢。
facat
2019-03-23 18:25:51 +08:00
爬虫的制约因素一般是网络 I/O，除非你在骨干网上跑爬虫，否则家里的宽带应该和 python 没区别。
MrCard
2019-03-23 19:04:45 +08:00
@orangeade 哈哈，第一句看了半天
qianqlgz
2019-03-23 19:12:35 +08:00
怎么你们都会加链接，我不会，试了几次没成功
MrCard
2019-03-23 19:20:25 +08:00
@delectate 感觉 js 默认异步，更适合爬虫一点
MrCard
2019-03-23 19:23:26 +08:00
@qianqlgz 我直接复制粘贴就出来了，不过把我第二句话的换行吞了
MrCard
2019-03-23 19:24:46 +08:00
@facat 差别不大，就是一点点细微的差别
tikazyq
2019-03-24 12:05:52 +08:00
已 star，最好有可以验证代理 IP 是否可用的逻辑

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/547769

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX