我是 V2EX Plus 作者，关于扩展中 vDaily (分布式爬虫)功能的情况说明

凌晨的时候朋友告诉我 tg 有一些奇怪的消息，然后看到了主题 /t/939486 大概是对扩展爬取数据的一些疑问。

针对疑问我整理一下：

Q: 扩展的操作是否涉及灰产、黑产？

A: 没有

扩展的前后端代码都是开源的，同时一开始就把日志、请求分析、API 等各项内容开放，如果扩展有其他的偷鸡摸狗的行为欢迎石锤然后再投诉和删除。

日志、API 、请求分析在 vDaily 最底部

前端: https://github.com/sciooga/v2ex-plus

后端: https://github.com/sciooga/v2ex-plus-backend

目前扩展发布是 Github 配置的 CI 发布的，也欢迎解包线上代码对比是否和开源代码一致

Q: 扩展是否能爬取 V 站之外的数据？

A: 不能

扩展有权限能访问的域名有三个: imgur 、v2ex 、weibo ，除此之外会触发跨域请求无法发出，可以看源码或者看浏览器内的扩展授权（部分 webkit 魔改浏览器可能会显示所有域名权限，可以解包查看对应代码）。

Q: 是否会操作 Cookie ？

A: 不会

欢迎查看源码

Q: 翻页 502 是否是扩展导致？

A: 大概率不是

因为没有操作 cookie ，同时也有非扩展用户遇到这种情况，早两天还也和站长沟通了这个情况 /t/937337

Q: 是否会涉及到隐私？

A: 不会

扩展无论获取当前浏览还是历史主题，都只是获取主题公开信息然后提交，具体看源码，用户个人任何隐私数据都没有获取以及提交。 https://github.com/sciooga/v2ex-plus/blob/master/spider/index.js

Q: 是否会导致活跃度快速到达黑条？

A: 扩展会导致，但不只是 vDaily 功能

扩展由于每几分钟会检查一次签到、未读消息，老版本还会检查关注的用户 /节点是否有新主题 /回复，这些才是导致活跃度增长的主要原因，vDaily 的工作逻辑是浏览一个主题可能(之前是 30% 目前是 0%)会附带 1-3 个请求历史帖子，这也会导致更多的活跃度增加

Q: 为什么突然增加 vDaily 这个功能？

A: 这也是 2.0 恢复的老功能

vDaily 是一个很老的，大概五六年前的项目，之前的域名已经停止服务了，当时也是因为没有时间每天浏览 V 站，做了个爬虫爬取数据筛选精华方便看看错过的内容，后面由于没有维护停掉了几年，现在重写了加入了扩展侧栏做推荐。

Q: 对用户、V 站造成什么额外的压力？

A: 每个主题浏览都有可能附带 1-3 个额外的请求

对于 V 站可能会产生一定量的未缓存的老主题请求，在站长的要求下已经关闭历史主题的抓取，对于用户会多消耗一些网络资源（仅加载 HTML ，图片、CSS 等不加载）

Q: 为什么没有明确的告知？

A: 是没有做好

当时的通知过于简单 https://github.com/sciooga/v2ex-plus/blob/2936025bf45b7b4b64a890a2e39443140b103f9a/background.js#L28

Q: 为什么默认开启？

A: 我的错

V 站用户需求还是很多的，扩展尽可能将大家的反馈都实现和改进，但是不少功能比较个性化，所以 2.0 大部分功能都有独立开关，至于是默认开启还是默认关闭，确实是由我决定的，这不好，以后的功能将默认都关闭。

Q: 为什么要删除日志？

A: 没有删除

goAccess 的实时日志是由一个很脆弱的 websocket 实现的，昨天访问得多就挂掉了，这太正常了...然后今天早上我手动启动了之后就从启动时开始记录了，日志文件应该都在，有需要可以公布。

目前扩展获取历史主题的功能也已经停掉了，项目仍然是开源的，前后端代码以及实时运行的日志、统计都是公开的，另外通过我们的 key 给我们发消息的朋友应该也明白这个功能并没有涉及到黑产灰产了吧？

原图

如果还有任何问题欢迎指正，开源项目得到大家的监督是很好的一件事，因为目前在外，看见消息会尽快回复。

sillydaddy

2023-05-15 10:07:14 +08:00

@shyrock 事件的经过大概是这样的：

v2ex plus 插件作者开发了一个关于 V2EX 的新功能 vDaily ，可以发布类似于 v 站帖子排行榜的功能，也有挖掘历史帖子展示出来的功能，所以它不光需要 v 站近期的帖子，还需要历史帖子的数据。

按照 plus 作者的说法，它向 sov2ex 作者借了一份爬取过的 v 站的存量帖子数据，但有些数据(点赞数、感谢数)不全。
https://www.v2ex.com/t/939486?p=2#r_13072169

所以，plus 作者决定自己爬取历史帖子数据。根据下面用户的反馈，这大概是在 2 个月前开始的：
https://www.v2ex.com/t/924796

问题在于，plus 作者完成这个爬取的过程，是借助 plus 插件用户：它用服务器下发给每个 plus 插件用户一些主题 id ，让这些用户在本地帮它完成主题的爬取，然后上传爬取到的主题内容到 plus 作者的服务器上。这就导致了刚才提到的那个帖子里，plus 插件的用户突然发现「最近查看过的主题」里面，出现了一些自己从来没有看过的主题。

plus 作者的这个决定，并没有征得 plus 插件用户的同意，没有显式给出这些用户自主选择的权利。

其实单 ip 爬取 v 站的数据，分布到 6 个月内，按照 90 万个帖子，180 天，每天大概 5000 个帖子，平均 20 秒请求一个帖子，对 v 站造成的压力应该不会增加多少。猜测 plus 作者可能是想快点爬完？