如何拒绝高危需求又不得罪人？

[kong0bbs]

CEO 发现到企业微信上发任意 http url 能够以卡片的形式显示。 卡片会展示该 url 的 icon 、title 、description 、keywords 几个信息。 CEO 觉得这个功能很棒，想在公司自研 IM 上也达到类似效果。

自研 IM 挂在我的直属 TL 名下。 CEO 将想法丢在公司大群里，说企业微信的功能很方便，问能不能做。 TL 马上答应下来，他跟 CEO 差了几级，平时根本说不上话。

TL 在找人开发时卡住了，没人愿意接这个需求。 原因是这需求要爬任意 url ，有风险，可能不合规。 TL 问了法务，法务给的答复也模棱两可，法务让技术测判断。 但是 TL 已经答应了 CEO ，再反悔，会留下不良印象。 TL 在公司表现不错，也很年轻，不希望在 CEO 面前丢分。

在实在找不到人的情况下，TL 找到我，希望我能接。 但我也不想碰这个需求，但我跟他共事 7 年了，拉不下脸面。 但他以私人身份求我，甚至承诺把团队顶格绩效给我。 我还是想拒绝，但又怕得罪人，应该如何拒绝？

类似案例： 有家公司爬深圳市 ZF 网站上的公开数据。 但程序有 bug ，出现了死循环，导致以近 100qps 发请求。 最终把 ZF 网站打挂了，事情发生在周末，ZF 人员在休假，无人恢复，挂了一周末。 引发了很多市民的投诉，最终，技术总监和程序员都进去了。

[rabbbit]

1 设置白名单，仅显示白名单内的网站。至于哪些网站在白名单内，让他们自己去判断。理由就说可能会抓取到违法网站。
2 上面说了，套壳的应用用基座发请求。没人就找外包。不批就实现不了。

[tetora]

再外包一次囖

[Atma]

对的，楼上说的，白名单

[chanChristin]

能请求多少是多少，其他的再排期，就说第一期先搭建基础框架，后面再慢慢加，后面啥时候加还不是你说了算。

[Felldeadbird]

curl 读一次网站，入库就就不在请求不行吗？然后单个域名每分钟限制请求次数 + 1 小时总请求次数限制。

再不行还有一个办法，找一台电脑不关机，开着浏览器。浏览器写一个扩展，读取需要打开的网站，然后扩展把打开的网站信息发给服务器。 这可是真实访问。

[horizon]

这当然从客户端请求了，然后缓存起来。
走服务端就是爬虫了。

[wbrobot]

@forvvvv123 企业微信有各种黑白名单保证不会显示 h 网，暴力 x 腥等

@leconio 实际上 @ETCartman 说的反而是最简单可行的方案，做个企业微信机器人往私人小群里发，然后看看有没有办法获取到消息，我记得机器人应该可以获取到，不知道 URL card 行不行。

拿到的话就拼接做 card ，拿不到，就去掉超链接，发成文字，十分安全可靠。

[BeiChuanAlex]

走客户端不就好了

[akira]

看着是大公司，怎么感觉做法又是小作坊那一套...

[ETCartman]

从 https://web.archive.org/里拿呢

[zbinlin]

这种爬有什么问题，符合 Robots.txt 就行了。

[Pastsong]

有 Robots.txt 就可以爬

> TL 为了让 CEO 满意，要求全都支持
你们 TL 才是最大的问题

[klo424]

我领导经常想让我搞高危需求，因为他太菜搞不定，我都是直接拒绝，并告诉他这么做犯法。

[bk201]

没明白需要什么爬虫，如果企微能做，别的就能做。

[bk201]

web 端跨域，本地服务转发不就好了

[sujin190]

手机端直接请求就行吧，为啥要爬，用户端直接访问不存在不合规问题，只要你别想着搞什么伪造会话登录什么的，这多好的绩效干嘛不要，企微说不定也是前端直接请求的，否则太耗资源了不值当

[agostop]

按 34f 说的做，应该没问题，再建议还是客户端搞，用代理+缓存的思路，代理解决跨域问题，缓存解决并发多人请求问题

[InDom]

给你换个思路，你做一个开源项目，实现类似的功能。

然后把仓库给 TL ，他自己找人调包使用。

现在，TL 的任务完成了，仓库也和你没啥关系。

[shawnsh]

CEO 闲着没事干要当产品了？

[vmebeh]

发链接的客户端来生成卡片，不过就可能会伪造卡片，会有个安全风险