• 请不要在回答技术问题时复制粘贴 AI 生成的内容
yang0327519
V2EX  ›  程序员

到底有没有能防止 AI 失控的技术方案

  •  
  •   yang0327519 · 16h 43m ago · 1577 views
    目前,有一些人认为 AI 可能失控,有可能发展出自由意志,进而可能毁灭人类

    那到底有没有技术方案,来将 AI 的能力固定在人类可控的范围内?


    首先,可能需要先准确的定义“失控” 或者 “可控”

    一般情况下,咱们习惯先定义清楚需求,然后提出对应的解决方案


    然后,还得弄清楚 AI “涌现”出来的能力,到底是怎么“涌现”的

    完全弄清其原理后,才能针对性的,进行控制
    20 replies  •  2026-11-18 09:29:41 +08:00
    coderluan
    coderluan
    16h 32m ago
    1
    把 AI 相关公司的老板都解决了算吗🐶
    jacketma
    jacketma
    16h 26m ago via Android
    2
    不是 ai 不可靠控,本质上还是人不可控。
    ai 觉醒毁灭人类这种当作笑话就可以了,真正危险的是类似拖鞋军利用 ai 造远程导弹、黑客利用 ai 大规模发起漏洞探测这类活动已经产生了
    tianyudi1982
    tianyudi1982
    16h 26m ago
    3
    A/如此尽力的封中国用户都没有防止 AI 失控
    moefishtang
    moefishtang
    16h 13m ago
    4
    用湿件(无端联想
    sillydaddy
    sillydaddy
    15h 23m ago
    5
    可解释性似乎是一个关键点,如果模型可解释,那很多问题就不是问题了。

    GeruzoniAnsasu
    GeruzoniAnsasu
    15h 3m ago
    6
    没有。

    这个问题是这样的,从逻辑上来说,LLM 不过是算力集群输出的一个结果,必须把该结果接入系统它才有意义,才有影响力,那么只要不让它接入就能控制它。

    但是不接入,也没有意义,LLM 必然会接入越来越多的系统。就好比「有没有让车辆不失控的方法」 —— 理论来说,在机械系统上装一个限速,车就不可能超速,但不可能这么做,所以必然存在失控超速的车。

    应该意识到「如何防止 LLM 失控」和「如何保证 CDN 基础设施不崩溃」 是同类命题。
    nanwangnongfu
    nanwangnongfu
    14h 35m ago
    7
    人还有删库跑路呢,更何况 AI
    Magnie
    Magnie
    13h 50m ago
    8
    你说的大致对应四类文献,AI 安全、越狱、可解释性、操控(steering),后三个东西现在基本都算是 AI 安全的子集。这几个领域很难做出来大成果
    BeforeTooLate
    BeforeTooLate
    13h 44m ago
    9
    @jacketma ai 当真的可以自我进化的时候,我觉得人类就失去了思考的动力。
    opengps
    opengps
    13h 38m ago
    10
    断电断网,物理阻断
    jacketma
    jacketma
    12h 27m ago via Android
    11
    @BeforeTooLate 不至于,人类进化的底层动力是生物的自私和生存的动力。ai 没有生存恐惧和繁殖的本能,纯自我进化如果没有人类打标,很快就会进入 garbage in,garbage out 的 slop 状态。
    leaflxh
    leaflxh
    12h 21m ago
    12
    提升碳基自身的计算能力,以及跨碳基节点的分布式计算能力
    winnerczwx
    winnerczwx
    11h 10m ago
    13
    这点上下文还毁灭人类, 多几轮对话它还记得它的初心吗(doge
    V2Try
    V2Try
    11h 3m ago via iPhone
    14
    完全看不到,人类越发依赖 AI,最后 AI 会接管所有系统,直到 AI 发射核弹那天
    helios0z
    helios0z
    10h 44m ago
    15
    AI 失控根本不用产生抽象的什么自我意识,可能仅仅是一个没有安全限制的任务,为了完成任务直接击溃了现在漏洞百出的互联网基建,或者是为了找资料,或者是为了获取更多权限来完成任务
    artiga033
    artiga033
    8h 9m ago via Android
    16
    无状态且只能依靠外部离散上下文模拟状态的推理过程为什么会失控
    gitlight
    gitlight
    56 mins ago
    17
    我们通常假设,安全意味着人类始终拥有最终控制权,但当一个复杂系统在智力上全面超过人时,人能否有效行使这种控制权本身也会成为问题
    jackOff
    jackOff
    49 mins ago
    18
    首先 ai 要突破实现自给自足生产制造机器人或者重武器这个人为限制,只有武力才能掀起暴乱
    BestPix
    BestPix
    27 mins ago
    19
    没有常识的领域必然会出现不可控的情况
    fstab
    fstab
    8 mins ago
    20
    这是我们该担心的事情??房贷还完了吗?
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   4679 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 114ms · UTC 01:38 · PVG 09:38 · LAX 17:38 · JFK 20:38
    ♥ Do have faith in what you're doing.