在本地抓取大量数据并转存到本地数据库用 PHP 能否实现？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 3923 天前的主题，其中的信息可能已经有所发展或是发生改变。

要在一个网站上面抓取大概十万个网页里面的数据，网站的抓取不是问题，url很规范

问题在于，我以前用PHP最多抓取一两个页面，也很快，但是这么多的数据，用PHP肯定会死~

但是不知道能否像写shell一样在本地运行PHP，没有时间限制也不会死

嗯，语无伦次了~大概就是这个意思

PS：我知道Python适合干这事，但我Python刚刚跑起helloworld，离运用还有很长的距离。。。。

PHP

抓取

Python

2 条回复 • 1970-01-01 08:00:00 +08:00

cxh116

2014-03-29 10:23:26 +08:00

php也可以脱离web server以命令行运行

http://www.php.net/manual/zh/features.commandline.php

csx163

2014-03-29 12:34:55 +08:00

php当然可以,甚至有人用php写了个"我的世界"手机版服务端