如何拒绝高危需求又不得罪人？

NevadaLi

4 天前

高危需求要和对方直截了当的表明情况，对方还没有意识到问题的严重性。如果你俩关系不错，建议也劝他别因小失大。

关键问题太委婉会让对方意识不到危险，到时候真出事就麻烦了。

xzour

4 天前

可以找找有没有第三方卖这种数据的。不一定要自己亲自爬

kong0bbs

4 天前

不是静态数据，而是发任意 url 要抓取 tkd 信息展示成卡片，包括公司内网 url 和外网 url 。

lloovve

4 天前

直接跟 ceo 反馈啊，这又不是技术问题，不要想着用技术解决

xzour

4 天前

@kong0bbs 强大的第三方其实也是实时的(比如企查查，爱企查这种爬工商信息的，不也卖接口)。自己内部的网站那就简单，自己对接就好。如果百度卖这种数据，比你自己爬还强大。由于这个不像企查查这种有商业机会，估计也不太好找，但可以去试试做搜索引擎的服务商。

dji38838c

4 天前

这个只是一次性对一个 URL 进行一个 GET 请求，很多国外 IM 都有，应该不算有合规问题吧？

renmu

4 天前

这种信息直接请求 html 就能拿到而且本来就是给浏览器或者外部应用看的，我觉得不涉及所谓爬虫

xzour

4 天前

@dji38838c 对，也可以改为发 url 消息才请求一次 get ，而不是预处理。限制请求间隔抓缓存。

ETiV

4 天前

我觉得可以接，因为标准是开放的，叫 open graph ，https://ogp.me/

比如现在这个帖子，查看 HTML 代码，就会看到下面这些：

<meta property="og:locale" content="zh_CN" />
<meta property="og:type" content="article" />
<meta property="og:title" content="如何拒绝高危需求又不得罪人？ - V2EX" />
<meta property="og:description" content="职场话题 - @kong0bbs - CEO 发现到企业微信上发任意 http url 能够以卡片的形式显示。卡片会展示该 url 的 icon 、title 、description 、keywords 几个信息。CEO 觉得这" />
<meta property="og:url" content="https://www.v2ex.com/t/1052841" />
<meta property="og:site_name" content="V2EX" />

企微也不是每个 URL 都有卡片展示的，抓不到的就不显示呗

xzour

4 天前

看上面的回答，不涉及爬虫，顶格绩效，可以考虑接下。

potatowish

4 天前

调第三方接口，不要自己去抓取，出了事第三方兜底

forvvvv123

4 天前

企微是怎么实现的，怎么解决的合规问题？

abigeater

4 天前

以客户端 IP 发送的请求，不算高危需求吧。看很多 IM 都实现了

x86

4 天前

这种只是取个 meta 头信息不算爬吧

bigfei

4 天前

可以从客户端请求发，涉及不到爬虫

kong0bbs

4 天前

我们 im 是 web 套壳，没有安卓/ios 开发，前端说没法子跨站发请求。

而且前端发请求会导致 ip 特征变得很明显，都是公司出口 ip ，很快就会被封。

kong0bbs

4 天前

前端发请求，同源策略过不去

toesbieya

4 天前

web 套壳那让基座写个请求方法给 web 调不就行了吗

vanleon

4 天前

先做公司侧的 url ，今年做完了拿定格绩效，然后明年跑路

iOCZS

4 天前

不写代码就是最安全的