如何拒绝高危需求又不得罪人？

[kong0bbs]

CEO 发现到企业微信上发任意 http url 能够以卡片的形式显示。 卡片会展示该 url 的 icon 、title 、description 、keywords 几个信息。 CEO 觉得这个功能很棒，想在公司自研 IM 上也达到类似效果。

自研 IM 挂在我的直属 TL 名下。 CEO 将想法丢在公司大群里，说企业微信的功能很方便，问能不能做。 TL 马上答应下来，他跟 CEO 差了几级，平时根本说不上话。

TL 在找人开发时卡住了，没人愿意接这个需求。 原因是这需求要爬任意 url ，有风险，可能不合规。 TL 问了法务，法务给的答复也模棱两可，法务让技术测判断。 但是 TL 已经答应了 CEO ，再反悔，会留下不良印象。 TL 在公司表现不错，也很年轻，不希望在 CEO 面前丢分。

在实在找不到人的情况下，TL 找到我，希望我能接。 但我也不想碰这个需求，但我跟他共事 7 年了，拉不下脸面。 但他以私人身份求我，甚至承诺把团队顶格绩效给我。 我还是想拒绝，但又怕得罪人，应该如何拒绝？

类似案例： 有家公司爬深圳市 ZF 网站上的公开数据。 但程序有 bug ，出现了死循环，导致以近 100qps 发请求。 最终把 ZF 网站打挂了，事情发生在周末，ZF 人员在休假，无人恢复，挂了一周末。 引发了很多市民的投诉，最终，技术总监和程序员都进去了。

[RicardoY]

这不是现在每个 IM 几乎都有的功能吗（

[ksmiloLove]

这个不是网站自己配置的展示信息吗？怎么要 im 去爬啊？

[kong0bbs]

先做公司侧的 url ，今年做完了拿定格绩效，然后明年跑路
--------
TL 为了让 CEO 满意，要求全都支持。

web 套壳那让基座写个请求方法给 web 调不就行了吗
--------
今年裁员，把安卓、IOS 的老司机都干掉了，剩下几个应届生，做不来，只能维护老代码。

[4ark]

感觉多虑了，照你这么说任何代码都有可能因为 bug 把服务器或者客户端干崩

[ReactRails]

点进来之前还以为是什么涉及资金或者黑客攻击的需求，结果就这点小事。你的风险意识很好，但这顶多算个中等风险吧。国内国外的所有 IM ，不管是微信 QQ 还是钉钉飞书，国外的 WhatsApp Line telegram 都有这个功能，你把风控还有告警弄好，问题不大的

[kong0bbs]

团队里面其他人不敢做，让我有点慌。

我其实做了个原型：

1 、用阿里云的 Serverless+Puppeteer 无头模式跑爬虫逻辑，Serverless 大概有 10 个公网 IP ，小规模使用问题不大。
2 、在 Serverless 上挂 NAS 盘，基于 NAS 盘做文件缓存，缓存 URL 和解析结果。
3 、如果调用量比较大，可以在 Serverless 上套弹性公网 IP 池，或者到某宝买代理，然后在 Puppeteer 上配代理。

新申请 1 个阿里云账号，把这块业务挂在单独账号上，跟公司主账号切割开。
这 1 套 3 天就写完了，但是不敢上，怕摊上事儿。

[ETCartman]

转发到企业微信再从企业微信里取 ：）

[Remember]

你不要用爬虫，用客户端访问一下，展示就行了。

IM 基础功能，这怎么可能有风险？

[leconio]

@ETCartman 出院！

[forgottencoast]

@kong0bbs
你这套做法摊上事不是正常吗，都用上什么 IP 池，代理。
用上面人说的客户端请求处理，而且出错就只显示链接，不重试，出不了事。

[kong0bbs]

你这套做法摊上事不是正常吗，都用上什么 IP 池，代理。
用上面人说的客户端请求处理，而且出错就只显示链接，不重试，出不了事
--------
这个思路不错，但是今年老板把安卓/IOS 团队干掉了，
现在是前端 Web 团队做客户端，App 就是 Web 套壳，
原生侧就只剩几个新手在维护老代码。非常尴尬。

[kong0bbs]

而且，我们 IM 还有 Web 端，直接在 Chrome 里运行。
Web 端用户蛮多，这个方案在 Web 端跑不了。

[watzds]

真厉害啊，先把这个说得风险多大多大，然后接了拿个好绩效，学习了

[bagel]

思路从头就错了，压根不涉及到爬虫。你自己去抓包看看，企业微信的实现就是在客户端抓取的，发消息 baidu.com 能抓到向百度域名的请求，就是解析首页 html 取几个 meta 字段和一个 favicon 。再怎么考虑法律风险，最多加一个白名单，备案域名才抓取，备案域名定时全量下发客户端。

[kong0bbs]

客户端发请求的话，Web 端解决不了啊，浏览器又不让跨域。

[kong0bbs]

Web 端解决不了啊，浏览器又不让跨域。

[kong0bbs]

产品形态要求 IM 功能在各端对齐，而且 web 端有不少用户。
除非是 web 端把请求发给服务端，服务端转给移动端。看起来似乎可行，我不清楚能不能这么干。

[Goooooos]

客户端请求的话那就难讲了，几百人一起请求，对方服务如果被搞坏了，那你们就有问题。一般都是服务端请求。

[lneoi]

如果你是客户端里面包含第三方地址，导致第三方请求数量过大而出问题，那责任应该也在你这儿。所以前后端做应该都一样？

[NDHT]

听说过哪个，好像是破坏计算机信息系统罪？个人觉得没有主观故意，判刑有点牵强。
有第三方爬虫公司，比如深圳的八爪鱼，好像可以直接调用让人家去爬，真搞出风险也是别家的问题。