PHP 爬虫 VS JAVA 爬虫 in 效率

2015-07-19 12:20:08 +08:00
 fghfjujiber

单页面抓取毋庸置疑差不多，但涉及大量URL需要访问的时候：JAVA的爬虫框架轻松实现多线程；PHP有框架能够这样吗？不行的话我就得自己写multi_curl....

4124 次点击
所在节点    问与答
10 条回复
laoyuan
2015-07-19 12:33:19 +08:00
看过一篇百度团队的文档，PHP 的真 multi curl
chengzhoukun
2015-07-19 12:37:29 +08:00
Python和go很好吧，用协程库
shierji
2015-07-19 13:36:33 +08:00
表示最近要爬google。。。。还要刻意限制速度的说。
wkdhf233
2015-07-19 13:51:18 +08:00
多开几个socket，先把所有请求发完再去处理返回
msg7086
2015-07-19 15:11:41 +08:00
php轻松实现多进程。
haiyang416
2015-07-19 15:48:02 +08:00
Rolling cURL。
zts1993
2015-07-19 19:47:55 +08:00
python更好。
mahone3297
2015-07-19 20:49:19 +08:00
php可以多进程
也可以多线程 http://php.net/manual/en/intro.pthreads.php
orvice
2015-07-19 21:17:56 +08:00
多线程还是go写吧。。。
Comdex
2015-07-19 21:40:50 +08:00
golang很妥当

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/206708

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX