监测类似微博或者 twitter 这种平台到底是如何实现的？

[ethbtc]

我看到有一些第三方服务商是可以监测到微博或者 twitter 的用户的点赞，评论或者是转发等社交行为。理论上，社交平台那么多用户，每一个用户都可能实时发送一些数据或者做一些互动。这些服务商是如何精准的监测到的呢？

目前来看，肯定是可以实现的，从技术上来说，咨询 v 友几个问题

1. 有哪些实现方案，有没有一些开源的 code 可以参考
2. 实现这个方案的过程中有没有要注意的坑
3. 发散一下，类似的其他社交平台例如 tg ，discord ，脸书等呢？

头脑发热想到这个问题了，对这个问题的思考和研究都停留在比较浅的层次，欢迎批评，讨论。

欢迎大家把这个话题当做一个开放话题讨论下。

[SunsetShimmer]

公开的就轮询。

[GeekGao]

你这问题用人民币能解决

[mytsing520]

微博、X 都有开发者平台

[busier]

国外网站技术太差了 爬虫一下就给爬走数据了

你看咱们的 分分钟触发风控

[MYDB]

很多平台都有开发者 api
比如 discord 可以参考 https://discord.com/developers/docs/intro
然后回归问题：
1. 基本上都有知名的对应开源代码，可以让 ai 告诉你
2. 好多开发者 api 没人维护，或者文档太老

如果平台就不开放 api 硬要玩封闭，只能爬的话，难度很大，一般都是访问特殊的接口（还得是容易绕过鉴权的），运气好的话服务器会返回一些基本的信息，比如返回的 json 里可能包含了点赞数、播放数；运气差只能买其他人的付费接口了，信息差就是钱啊！

[longlonglanguage]

其实 twitter 也有风控系统，所以想要无所欲为的爬取是不现实的。更稳定的就是买他们的接口，twitter 的叫开发者平台，微博的是开发者平台-微服务。

[wunonglin]

https://open.weibo.com/wiki/%E5%95%86%E4%B8%9A%E6%95%B0%E6%8D%AEAPI

微博自己就有商业 API

[wogogoing]

我司之前有 twitter 的一键三连的引流数据统计需求，有过一段时间的研究，分享给你：
1.twitter 有现成的开放 API ，但是限流低的离谱，而且不同接口限流阈值不同，有些接口还只对会员开放，几乎没法用。开通高级会员可以提高阈值，会员等级越要阈值也随着提升，但是要扫描十几万一键三连这种级别的数据，几乎也是做不到的。
2.业内有个 discord 机器人很牛，几乎所有的项目都用了它来打通 discord 与 twitter 的数据，这个机器人叫 engage ，官方文档在这里： https://docs.engages.io 。
3.还有些其他的服务提供商提供聚合好的接口服务，但是当初我们测了一遍稳定性达不到我们需要的生产级别，不过它们的阈值相对官方的高级会员都高。我自己猜测是接口后端聚合的大量爬虫轮询，前端接口通过一定算法调度，不知道对不对，知道的大佬可以分享下。

[halobugTurbo]

1 、服务商的数据应该是有延迟的。
2 、实现：拿到匹配的数据后，T-1 做数据对比。
3 、使用钞能力 API 就能拿到数据。

[ethbtc]

@wogogoing 感谢~很有启发

[milukun]

人家都有开放平台可以买 API 的
而且有意思的是，微博可以买到的商业接口有一个是“获取某人发表过的历史评论”
就是说你给到一个用户的 uid ，就能拉取到他在任何微博下面发表的评论，完全社死的一个接口
你去拉你对象的可能就能找到 ta 出轨的证据 但是 ta 完全还不知情

[unco020511]

基本都有开放平台 api,但是都有一些限制,可能要结合爬虫