在本地抓取大量数据并转存到本地数据库用 PHP 能否实现？

2014-03-29 10:15:38 +08:00

wdkwdkwdk

要在一个网站上面抓取大概十万个网页里面的数据，网站的抓取不是问题，url很规范

问题在于，我以前用PHP最多抓取一两个页面，也很快，但是这么多的数据，用PHP肯定会死~

但是不知道能否像写shell一样在本地运行PHP，没有时间限制也不会死

嗯，语无伦次了~大概就是这个意思

PS：我知道Python适合干这事，但我Python刚刚跑起helloworld，离运用还有很长的距离。。。。

2047 次点击

所在节点

问与答

2 条回复

cxh116

2014-03-29 10:23:26 +08:00

php也可以脱离web server以命令行运行

http://www.php.net/manual/zh/features.commandline.php

csx163

2014-03-29 12:34:55 +08:00

php当然可以,甚至有人用php写了个"我的世界"手机版服务端