无聊之作：抓取网页截图

[vibbow]

http://vps.vsean.net/screenshot/
输入网址后，稍等一会，就会显示出网页的截图

源代码： https://gist.github.com/vibbow/5702882
基于PHP + Selenium

[Livid]

@vibbow Append 功能需要主题已经存在 30 分钟。

[qiayue]

在很多时候都会用到网页截图功能，以前（前几年了，最近没找）找的都不怎么满意，要么是截的图不好，要么是别的网站给出的api，有限制，今天终于发现楼主做的这个效果不错，所以立马上来表示感谢。

对于楼上有两位质疑有什么用处和说意义不大的童鞋，我觉得可能是你们没有碰到类似的需求。
生活中我们常会以个人的见识阅历来评价一件事情，而其实这种评价并不客观。

[Livid]

@vibbow Java GC 问题可以把 JVM 换成 JRockit 试试。

[cdfmr]

@kusys archive.org还是很强大的，除了网页，一些下载文件它都保留着，我用它找过几次古董资源。另外，一定程度上兼具FQ功能。

[vibbow]

@chiefly 因为访问的是淘宝国际版

[2code]

貌似抓一次被墙的网站就挂掉了

[vibbow]

@panxianhai 我这个是直接调用了一个完整的Firefox，支持Flash。

[vibbow]

@2code 服务器本身在国外，请考虑你提交的网址是否本身有关键字，导致被和谐了。

[vibbow]

@Livid 怎么换？我现在使用的是Ubuntu自带的openjdk。
对Java完全没好感...

[Livid]

@vibbow 去 Oracle 网站下载一个 JRockit，然后用它来启动 Selenium server。

[vibbow]

@Livid 感觉好复杂...
http://vsean.net/pic/di-W3F4.png
反正服务器现在还撑得住。
等撑不住了就上Queue...

[firsthym]

可以整一个service

[dndx]

@vibbow JVM 的内存管理方式应该是我见过的最好的之一。

JVM 会在不同的情况下调用不同的 gc 策略，尽可能降低对运行性能的影响。基本没有人工干预的必要。

[vibbow]

@dndx 遗憾的是，刚才Java内存爆了一次，然后自己挂了...
只好重启vm了...

[manhere]

@vibbow
( ! )Fatal error: Uncaught exception 'PHPWebDriver_UnhandledWebDriverError' with message ' in /var/www/vps.vsean.net/screenshot/PHPWebDriver/WebDriverBase.php on line 50

( ! ) PHPWebDriver_UnhandledWebDriverError: Unable to connect to host 127.0.0.1 on port 7058 after 45000 ms. Firefox console output: Error: cannot open display: :99 Error: cannot open display: :99 in /var/www/vps.vsean.net/screenshot/PHPWebDriver/WebDriverBase.php on line 50

[vibbow]

@manhere 刚才内存被Java撑爆了一次...
把VM重启了一下。

[sarices]

被抓取的网站图片一多就不行了 http://zhengweidong.com/ 抓取失败了
Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 30400913 bytes) in /var/www/vps.vsean.net/screenshot/PHPWebDriver/WebDriverBase.php on line 186

[dndx]

@vibbow 如果服务器内存比较大，可以考虑增加 JVM 堆大小。

应该可以缓解 OOM 的情况。

[dndx]

@vibbow 忽略上条，没看见 PHP 无法申请内存的提示。。

话说，截图文件还是比较大的，直接在内存里 decode 流量上去必然堪忧啊。

最好可以用流式输出或者直接写到硬盘。

[wingoo]

非常赞啊