家里的电脑24小时跑爬虫,XP系统下Apache不稳定,三天两头重启,如何破?

2013-03-12 08:24:29 +08:00
 laoyuan
XP系统不能换,因为是在家里用的电脑。感觉无解,因为没啥规律,有时5天Apache才完蛋一次,有时一小时两次。。。。所以只能上虚拟机装Linux系统了?
在虚拟机里就跑Apache + PHP,或者Nginx + PHP,数据库MySQL放外边就行。。我机子上有VMware~




[Mon Mar 11 04:41:33 2013] [notice] Parent: child process exited with status 3221225477 -- Restarting.
[Mon Mar 11 04:41:35 2013] [notice] Apache/2.2.4 (Win32) PHP/5.2.11 configured -- resuming normal operations
[Mon Mar 11 04:41:35 2013] [notice] Server built: Jan 9 2007 23:17:20
[Mon Mar 11 04:41:35 2013] [notice] Parent: Created child process 135288
[Mon Mar 11 04:41:36 2013] [notice] Disabled use of AcceptEx() WinSock2 API
[Mon Mar 11 04:41:36 2013] [notice] Child 135288: Child process is running
[Mon Mar 11 04:41:36 2013] [notice] Child 135288: Acquired the start mutex.
[Mon Mar 11 04:41:36 2013] [notice] Child 135288: Starting 250 worker threads.
[Mon Mar 11 04:41:36 2013] [notice] Child 135288: Listening on port 80.
6622 次点击
所在节点    程序员
36 条回复
sohoer
2013-03-13 20:20:06 +08:00
@laoyuan 呵呵,那真的当小白鼠了
hulk
2013-03-13 20:26:46 +08:00
@laoyuan 哈哈 是的 apache到底也是命令行,只是对资源做管理..403是权限问题...curl支持basic还有cookie认证 这个好解决了
lookhi
2013-03-13 20:27:54 +08:00
@sohoer 跑不动吧 这个性能会急死人的
laoyuan
2013-03-14 14:04:06 +08:00
@davidzhang
Nginx在win下跑PHP貌似更是无解,我今天早上安装之后,发现每次只启动一个php-cgi进程,只能同时处理一个php请求,也就是说,只能跑一条爬虫。。。
laoyuan
2013-03-14 14:09:53 +08:00
尽管网上有很多Win系统装 Nginx + PHP 的教程,但装完之后实际上都是单php-cgi进程处理php请求,完全没有并发。。。如果只是简单的启动多个php-cgi进程,反正我测试无效,还是单进程。。。
shiny
2013-03-14 14:13:49 +08:00
@laoyuan 以前做过nginx+php在windows下的集成环境,最严重的问题是:如果你按住F5,php进程就有可能退出,需要启用额外的监控进程,例如 xxfpm。

另外也在服务器环境下跑过windows+apache,常常有奇奇怪怪的问题。最好还是Linux下跑,如果非要windows,用IIS也不错(推荐服务器版操作系统)。
laoyuan
2013-03-14 15:14:40 +08:00
好吧,虚拟机ubuntu,晚上就装!!
sohoer
2013-03-14 20:50:58 +08:00
@laoyuan
@shiny
呵呵,已经在树莓派上跑起来了,是有点慢,不过还算稳定的运行着
sohoer
2013-03-14 20:54:28 +08:00
zyAndroid
2013-03-14 21:02:28 +08:00
你们都用爬虫爬什么?
perrywky
2013-03-14 22:36:07 +08:00
爬虫和apache有什么关系?爬自己?
laoyuan
2013-03-15 05:25:53 +08:00
@zyAndroid 爬京东亚马逊的价格,因为我是做比价站的。。。
http://www.jiabibi.com/

@perrywky 因为我只会简单的PHP,所以我同时启动多个php实现伪多线程,另外写了一个页面在浏览器打开对这些php进行启动、停止、监测等等。。。用web进行管理感觉就是高级~~
thbourlove
2013-03-15 08:56:23 +08:00
@laoyuan 搞半天我总算明白你为啥要开APACHE了。。就是为了用web进行管理感觉“高级”一点。。。
likuku
2013-03-15 12:05:20 +08:00
树莓派+1
mozutaba
2013-03-15 13:08:25 +08:00
我想知道采集来干什么。
我打算爬种子。
lookhi
2013-03-15 13:31:55 +08:00
@sohoer 感觉像火车头啊

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/62654

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX