我是 V2EX Plus 作者，关于扩展中 vDaily (分布式爬虫)功能的情况说明

凌晨的时候朋友告诉我 tg 有一些奇怪的消息，然后看到了主题 /t/939486 大概是对扩展爬取数据的一些疑问。

针对疑问我整理一下：

扩展的前后端代码都是开源的，同时一开始就把日志、请求分析、API 等各项内容开放，如果扩展有其他的偷鸡摸狗的行为欢迎石锤然后再投诉和删除。

日志、API 、请求分析在 vDaily 最底部

目前扩展发布是 Github 配置的 CI 发布的，也欢迎解包线上代码对比是否和开源代码一致

扩展有权限能访问的域名有三个: imgur 、v2ex 、weibo ，除此之外会触发跨域请求无法发出，可以看源码或者看浏览器内的扩展授权（部分 webkit 魔改浏览器可能会显示所有域名权限，可以解包查看对应代码）。

欢迎查看源码

因为没有操作 cookie ，同时也有非扩展用户遇到这种情况，早两天还也和站长沟通了这个情况 /t/937337

扩展无论获取当前浏览还是历史主题，都只是获取主题公开信息然后提交，具体看源码，用户个人任何隐私数据都没有获取以及提交。 https://github.com/sciooga/v2ex-plus/blob/master/spider/index.js

扩展由于每几分钟会检查一次签到、未读消息，老版本还会检查关注的用户 /节点是否有新主题 /回复，这些才是导致活跃度增长的主要原因，vDaily 的工作逻辑是浏览一个主题可能(之前是 30% 目前是 0%)会附带 1-3 个请求历史帖子，这也会导致更多的活跃度增加

vDaily 是一个很老的，大概五六年前的项目，之前的域名已经停止服务了，当时也是因为没有时间每天浏览 V 站，做了个爬虫爬取数据筛选精华方便看看错过的内容，后面由于没有维护停掉了几年，现在重写了加入了扩展侧栏做推荐。

对于 V 站可能会产生一定量的未缓存的老主题请求，在站长的要求下已经关闭历史主题的抓取，对于用户会多消耗一些网络资源（仅加载 HTML ，图片、CSS 等不加载）

V 站用户需求还是很多的，扩展尽可能将大家的反馈都实现和改进，但是不少功能比较个性化，所以 2.0 大部分功能都有独立开关，至于是默认开启还是默认关闭，确实是由我决定的，这不好，以后的功能将默认都关闭。

goAccess 的实时日志是由一个很脆弱的 websocket 实现的，昨天访问得多就挂掉了，这太正常了...然后今天早上我手动启动了之后就从启动时开始记录了，日志文件应该都在，有需要可以公布。

目前扩展获取历史主题的功能也已经停掉了，项目仍然是开源的，前后端代码以及实时运行的日志、统计都是公开的，另外通过我们的 key 给我们发消息的朋友应该也明白这个功能并没有涉及到黑产灰产了吧？

如果还有任何问题欢迎指正，开源项目得到大家的监督是很好的一件事，因为目前在外，看见消息会尽快回复。