在写 PHP 爬虫,因为 file_get_contents 卡死了,怎么办?

2015-07-07 16:10:57 +08:00
 fghfjujiber

因为部分页面是ajax动态加载的,所以要用file_get_contents获取json数据。

3394 次点击
所在节点    问与答
8 条回复
dalaomj
2015-07-07 16:14:01 +08:00
用fsockopen或者curl,可以自定义的元素更多。file_get_contents连UA都是在php.ini里定义的。
b821025551b
2015-07-07 16:14:47 +08:00
超时,or换curl
hjxx
2015-07-07 16:15:27 +08:00
fghfjujiber
2015-07-07 16:16:01 +08:00
好的我试一试
tabris17
2015-07-07 16:17:18 +08:00
通过 stream_context参数可以设置超时
yeyeye
2015-07-07 17:57:42 +08:00
@dalaomj file_get_contents可以在用 到时候设置UA等其他请求参数
lincanbin
2015-07-07 17:57:57 +08:00
用curl。
lshero
2015-07-07 18:12:16 +08:00
@dalaomj stream_context_create挺有用的file_get_contents时可以配合使用

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/203973

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX