icemanpro
V2EX  ›  Local LLM

ollama+docker 部署的 dify+ Linux 放在外网,如何设置才安全?

  •  
  •   icemanpro · Mar 3, 2025 · 2017 views
    This topic created in 440 days ago, the information mentioned may be changed or developed.
    ollama 默认绑定 127.0.0.1 。linux 下 docker 不支持 host.docker.internal. 当 ollama 绑定 0.0.0.0 后,ollama 可被其它人使用。
    9 replies    2025-03-03 20:29:08 +08:00
    tribute
        1
    tribute  
       Mar 3, 2025
    反代+basic auth
    layxy
        2
    layxy  
       Mar 3, 2025
    如果是云服务,配置组策略,使用反代作为统一出入口
    luckyc
        3
    luckyc  
       Mar 3, 2025
    既然是生产环境了, 就不要用 ollama 撒, 换成 vLLM
    TsubasaHanekaw
        4
    TsubasaHanekaw  
       Mar 3, 2025
    套壳 openapi,就能有 apiKey 访问了
    npe
        5
    npe  
       Mar 3, 2025
    1.安全组
    2.vpn
    zhengfan2016
        6
    zhengfan2016  
       Mar 3, 2025
    你 vps 没防火墙? vps 提供商没有防火墙?说实话,即然你 dify 和 ollama 都在同一台 vps 上,干嘛需要暴露端口出来
    NSAgold
        7
    NSAgold  
       Mar 3, 2025 via Android
    ollama 绑 0.0.0.0 防火墙拒绝非本机访问端口不就好了...
    jasonkayzk
        8
    jasonkayzk  
       Mar 3, 2025
    跑 docker 里面不暴露端口、安全组也不开放。
    dify 发布的 API 需要 token 才能调用。
    mmdsun
        9
    mmdsun  
       Mar 3, 2025 via iPhone
    3 楼的 vLLM 部署
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2913 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 40ms · UTC 06:28 · PVG 14:28 · LAX 23:28 · JFK 02:28
    ♥ Do have faith in what you're doing.