哪家云服务支持 AI 流式输出的敏感词检测？

[gaobh]

为了合规，不知道哪家云服务支持 AI 流式输出的敏感词检测？ 我看了下，好多都是给整段文本检测，并没有流式输出实时检测服务，这个大家有没有好的解决方案

[wtfedc]

没有语境，敏感词检测就没多大意义。
可以尝试流式输出过程中，拼接当前输出和之前所有的结果，异步进行检测。

[wtfedc]

xxx 是个大家都爱戴的领袖 是可以过云厂商敏感词检测的。
xxx 做了什么坏事 是过不了的。

[lchynn]

你自己再加一层，AI STEAM 输出全部后， 你拿去给云服务做敏感词 /语义检测。 通过后， 自己再做个 api ， 代替 AI ，流式输出给前端。

类似电视台直播节目，如春晚， 老百姓看到的其实是延迟 1 分钟。就怕直播连线的时候，有 XX 大叫 XXX 。

[devswork]

@lchynn #3 这样延迟也太高了，用户就得干等着，流式就没意义了

[devswork]

我最近也在做这个，目前的方案是，每次会把上下文所有内容交给内容审查，如果都通过了，就再去请求 AI ，AI 给出的流式就直接响应了。我想的是，如果用户不问敏感问题，就不会有敏感答案（或者说 AI 不会主动给出敏感的信息，除非用户主动问），大概就是敏感都是由用户主动询问来触发的，这个思路

[gaobh]

@devswork #5 这个方案只能在一次性问答的场景里可以，连续对话场景下，用户可能不会提敏感问题，但是 ai 有可能输出敏感回答。
目前我看到的 wps 做的方案是每次流式输出后按。分割句子，然后把每个句子进行敏感词检验，如果命中就不再输出同时回退命中的句子进行隐藏。他这么搞虽然能解决问题，但是敏感的句子已经给用户看到了，用户可以截图，给平台造成风险，这个咋解决是个问题。

[lchynn]

@devswork 但是问题是连续上下文对话的，
比如 第一个问题，XXX9 年 6 月 1 天有什么重大新闻发生么？ 你去审查，通过了，没问题
用户继续提问， 第二天呢？ 也没问题，
你放开了， 用户继续问，2 天后呢？.....

每个问题，单独审查都没问题， 但是最后一个 GPT 的回复会给你一个大坑。

[devswork]

@lchynn #7 我测试了，先问点 leader 是谁，问他的贡献（好的方面），然后说还有呢、还有呢、但是呢，然后就出现了！！！！防不胜防啊