一般商业爬虫程序(Java 非 web)是怎么部署到生产环境并运行和监控的？

[solomaster]

持续性的爬虫。我没有这方面实际应用的经验，这种非 web 的如何部署运行呢？我 google 到的是用 maven 打成可运行 jar ，直接在 linux 下用 java 命令运行，而监控是用 JMX 之类的。
想问下
1 ：正式的公司里面是怎么做的？
2 ：定时计划任务一般是在程序里面配置好还是用 linux 的 cron 工具呢？
3 ：一般如何监控爬虫运行的呢？

谢谢。

[28ms]

我们公司里用 python 的，都是做成定时任务放 crontab ，感觉有点 low
监控爬虫运行靠收 root mail 看日志，呵呵呵

[magnetoeric]

我以前在公司用的 nutch 可以自己设定时间抓的

[canesten]

个人提议方案
用 Quartz ，运行监控可以写日志嘛

[sweelia]

最方便的，套上 web 框架模板，扔进 tomcat 里跟普通 web 应用一样监控。

[wy315700]

@28ms crontab 可以改 Mailto ，可以把运行结果发邮件出来的