关于 php 通过 curl 的伪异步方式抓取数据,下面这种 curl 方式和普通的 curl 同步请求有什么区别?

2016-09-12 09:32:05 +08:00
 william23

下面是网上找到的一个类,是说可以实现 php 异步抓取数据,但是 php 一直是同步的,打印出的结果也是同步的,但是通过下面 rolling_curl 的方法,的确可以节省一定的时间,但是既然都是同步的 ,为什么会节约时间呢? 希望各位大神能给出一些指导。 /**

	/** 

单一的请求对象 /
class Curl_request {
public $url = '';
public $method = 'GET';
public $post_data = null;
public $headers = null;
public $options = null;
/
*
* @param string $url * @param string $method * @param string $post_data * @param string $headers * @param array $options * @return void /
public function __construct($url, $method = 'GET', $post_data = null, $headers = null, $options = null) {
$this->url = $url;
$this->method = strtoupper( $method );
$this->post_data = $post_data;
$this->headers = $headers;
$this->options = $options;
}
/
* * @return void /
public function __destruct() {
unset ( $this->url, $this->method, $this->post_data, $this->headers, $this->options );
}
}
/
*

4307 次点击
所在节点    PHP
7 条回复
z5864703
2016-09-12 09:45:36 +08:00
因为这里是同时发出多个请求,不是一个发完等响应后再发下一个。
所以你可以测试单个请求下,用 curl 单发和并发的时间是一样的,多个请求下并发就会快一些。
william23
2016-09-12 11:23:20 +08:00
@z5864703 的确是这样的,但是多个请求打印出的结果也是同步的 ,如果是同时发出的,怎么看出来呢?
lincanbin
2016-09-12 11:32:51 +08:00
@william23 curl_multi 是整个请求池所有请求处理完毕,把所有响应报文拿到,才会继续往下走的。
虽然看起来像异步,但是实际上是同步阻塞的。
donwa
2016-09-12 11:57:45 +08:00
curl_multi 并发请求,所以比单个快,
然后 判断了$execrun != CURLM_OK ,哪个请求先完成,就先处理哪个请求。如果你用回调( callback )打印的话,会发现不是顺序输出,而是哪个请求先完成,输出哪个。

其实这个 rolling_curl 最大的好处是控制并发的总请求数。
Clarencep
2016-09-12 13:13:31 +08:00
有多个请求的时候使用 curl_multi 确实会比多个 curl 快一些。甚至你都可以在等待的时候使用非阻塞方式进行等待,顺便干点其他事情。

以前我也封装过一个: https://github.com/Clarence-pan/restful

特别针对于只要发送请求,不要应答结果的场景还优化出一个`CurlMulti::waitLeast`
william23
2016-09-12 13:29:46 +08:00
@lincanbin
@Clarencep
感谢!
dawniii
2016-09-13 20:49:45 +08:00
为什么不用 guzzle 呢。异步同步都很方便
http://docs.guzzlephp.org/en/latest/quickstart.html#async-requests

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/305577

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX