分享自己做的一个自动检测网站变化的工具 - Web Watchman

[ArchiTech]

开始写这个工具是因为自己会用到，比如看某些番剧有没有更新，小说有没有更新，想买的产品价格有没下降等等等等。每次针对特定的任务专门写一个脚本的话太麻烦了，所以就做了这个比较通用的工具，原理就是简单的截图然后比较有没有变化。

做之前我先看了看网上已经存在的一些工具，感觉多少都有些限制，比如查询的频率一天只能查一次，没有保存网页变化的历史等等，要么就是 UI 我不喜欢。。。所以，最后还是自己动手了，做完后加上了个注册系统支持多用户，各位如果想用也欢迎来试试~

webwatchman.com

[touzi]

很是需要, 先来一个美剧试试

[pywilhelm]

截图之后选取区域后对区域进行监控这个是怎么实现的？只是截图吗？如果网页不定长怎么处理？

[nfroot]

bootstrap.css 花了 17 秒才载入完成，能不能套个 CDN 啊，免费的 CF 也比这个快吧……

[SevenJ]

赞
但是 http://webwatchman.com/task.html 里头图片没有 load 出来

[ArchiTech]

@nfroot O__O "…我本身离服务器近，完全没注意到速度问题，我尽快换成 cdn 哦...哈哈哈

[ArchiTech]

@SevenJ 奇怪。。。你的邮箱或者你监测的网站是哪个？我看看去？

[ArchiTech]

@pywilhelm 对，单纯截图。如果你关心的区域距离网页顶部的高度会变化，那就跪了。。。如果你关心的区域以下的页面长度变化的话就无所谓。

[qfdk]

根据上面的评论,感觉可以浏览一些奇怪的网页 或者图片 斜眼笑


[timothyye]

@qfdk 老司机

[ArchiTech]

@qfdk 花式翻墙...

[SaulLawliet]

赞
借地贴一个类似功能的本地脚本
https://github.com/SaulLawliet/watchdog

[lloovve]

邮件炸弹

[ArchiTech]

@SaulLawliet 不错，你是 css_selectors 的思路，得到的结果最准确，就是开始设置的时候非专业人士可能不会怎么选取元素

[ArchiTech]

@lloovve 啊？

[mskf]

不错不错，个人觉得这个可以开源一哈，因为很多页面是需要登陆才可以看到具体内容的，可以做成一个本地化的工具（例如浏览器插件）

[solobat]

不错，mark 一下

[SevenJ]

@ArchiTech 过了大概几分钟后图才刷出来，图片是放 S3 还是？

[qianyi0129]

需要登录的网站呢？

[Zzde]

等待时候的动画不错

[nendors]

支持下 顺便测试下

[maemolee]

动态加载的网页也能跟踪吗？那就很厉害了。

[maemolee]

啊，失败了。

[ArchiTech]

@SevenJ 加州服务器上....我周末就加 cdn👌

[ArchiTech]

@maemolee
我试了你那个 url, 没问题呀~
https://imgur.com/a/3gkMy

[ArchiTech]

@qianyi0129 我没想清楚怎么做呢，您有想法可以讨论讨论~

[maemolee]

@ArchiTech #24 这就很微妙了。。。

[cdlixucd]

php 吗

[xuanyuanaosheng]

看着不错～

[buseni]

不错

[ORZRRR]

牛 b
xxx.com 可以快照
楼主用的哪家服务器啊？

[qianyi0129]

@ArchiTech 你这功能要是不能检测登录网站的话其实 mac 系统自带你这个功能 在 dashboard 中

[nameryan]

以前用过一款 chrome 插件的，不太好用。
这个做的还不错，至少前端界面设计还是挺带感的，楼主应该也懂一些设计吧。
先用着，后面可以加一些 chrome 插件等。

[xuanyuanaosheng]

测试了，刷不出来啊

[ArchiTech]

@ORZRRR aws

[ArchiTech]

@qianyi0129 web clip 这个么？好像不会提醒诶。。

[ArchiTech]

@nameryan 真的假的，哈哈，就是追求比较简单的 UI, 以后还是会找专业设计师帮忙改改.

[ORZRRR]

楼主
那个 微信公众号文章图片首张是可以显示的 / 我有过 绕不开微信的图片盗链
后面的懒加载图片就 loading 了，能解决这个问题嘛？并分享下方法 [人工提前点赞]

[BadReese]

截图有点慢..试了下微博

[ArchiTech]

@ORZRRR 可以设置页面打开后等待几秒再截图，也可以保证所有 ajax call 的返回后再截图。前者好一些，后者可能永远等不到完。

[ihciah]

emmmm 所以如果页面里包含 coinhive 会怎么样。。

[ArchiTech]

@ihciah
程序每次打开一个页面截完图就关了，不会停留在那里很久的~
不过，哇。。还有 coinhive 这种东西，好神奇的想法，拿用户的 cpu 挖矿，长见识了。。。

[droiz]

一直在等待响应。。是不是 v2 的人打死了。。。

[magensky]

楼主啥时候开源呢？这里根本显示不出来，一直转圈，很久后显示失败

[Ginson]

我现在在用一个类似的 Chrome 插件，叫 Distill Web Monitor。
楼主说的 查询频率、保留历史这个插件都有实现，具体这样的

PS：没有拆台的意思，只是觉得这个工具好像刚好能符合楼主需求

[ArchiTech]

@Ginson 哈哈，欢迎讨论，这个还有 visualping 我都用过，他们做的都挺好的，我只是觉得一些细微的地方和我理想中的工具稍微有点偏差，就自己动手了~

[ArchiTech]

@droiz 是被打的够呛，不过还没死呀。。。

[yearliny]

我这里运营商劫持非常严重，你的网页打开满屏广告根本看不了，建议上 SSL。

[kitty7030]

"Failed - INTERNAL SERVER ERROR"
随便一个网址都不行 下线了吗？

[leihejing]

对不起，你找的文件服务器上找不到 !

收到邮件 点击确认链接后显示。。。。。

[ArchiTech]

@leihejing 点确认邮件应该会到改密码的页面呀，被劫持了？
头像棒棒哒~

[ArchiTech]

@kitty7030 没有啊，再来试试？

[ArchiTech]

@yearliny 恩恩，尽快尽快，谢谢！

[leihejing]

@ArchiTech 不是劫持，看看其他大佬有没有这现象

[ArchiTech]

这个没有继续维护了，抱歉。
因为很耗费服务器资源，开销太大，最麻烦的是这种图像比较的方法错误率太高。

[docx]

网站打不开了。
请问有开源的打算吗？想自己部署一个，很需要。