V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
caneman
V2EX  ›  OpenAI

求稳定的自建 chatgpt api 中转服务的方法

  •  
  •   caneman · 2023-11-20 10:36:36 +08:00 · 3960 次点击
    这是一个创建于 367 天前的主题,其中的信息可能已经有所发展或是发生改变。

    目前的方案是高质量机场 + openclash ,给境内服务器上的 api 服务提供梯子环境

    整体用了挺久的,成本可控,缺点就是受梯子稳定性影响比较大,偶尔有个波动抽风

    能想到的最好的方案

    1. 境外服务器直接搭

    2. Azure

    假想会遇到的问题

    1. 首先 Azure 和 openai 官方的接口的形式是不太一样的,而且模形似乎也有出入,不想用 Azure .

    2. 境外服务器的话有两个问题

      1. 一个是 服务器-> openai ,这段是有阻断风险的,据我所知有些主机商的机子是访问不的 openai 的,还要考虑到现在不阻断以后会不会阻断的问题,综合成本 & 稳定性 & 速度的话,不知道有没有推荐的?

      2. 境内 -> 服务器,这段一般没问题,不过也有阻断的风险,也要降低。

    其他补充

    小团队自用,规模不大,并发不高,不对外开放,不盈利。

    考虑到数据隐私问题,第三方 api 服务不考虑。

    24 条回复    2023-11-26 13:08:17 +08:00
    jmljava
        1
    jmljava  
       2023-11-20 10:46:56 +08:00
    可以搞个搬瓦工的小服务器做转发,做好访问设置问题不大,速度还挺好
    gaobh
        2
    gaobh  
       2023-11-20 10:55:12 +08:00
    API 除了不可用地区的服务器不能用之外,没其他限制
    caneman
        3
    caneman  
    OP
       2023-11-20 11:02:11 +08:00
    @jmljava 以前每次严打的时候,搬瓦工的节点就爱抽风,还以为他不靠谱。老哥用多久了,openai 会封号嘛?
    hahiru
        4
    hahiru  
       2023-11-20 11:08:10 +08:00
    自建 API 平台,比如 oneapi ,然后中转用 verge 。
    目前自用很稳定。
    hahiru
        5
    hahiru  
       2023-11-20 11:09:22 +08:00
    @hahiru #4 勘误:是 vercel 反向代理。
    freshgoose
        6
    freshgoose  
       2023-11-20 11:10:19 +08:00   ❤️ 1
    用一个国内域名指向境外主机,该主机内用 nginx 转发到 openai ,你只需要配置一个 nginx 就行了……
    jmljava
        7
    jmljava  
       2023-11-20 11:25:37 +08:00
    @caneman 服务器只做代理转发应该问题不大,封号也会封,不过我经历的都是 openai 大规模封号那种,应该不是因为代理访问的问题
    caneman
        8
    caneman  
    OP
       2023-11-20 11:48:16 +08:00
    @freshgoose 境外主机有啥推荐的吗?
    limfoo1
        9
    limfoo1  
       2023-11-20 13:55:47 +08:00
    1. cloudflare worker api 反代;
    2. cloudflare AI gateway ,但是 x 上有人说会漏 IP 导致封号。
    cheng6563
        10
    cheng6563  
       2023-11-20 14:30:10 +08:00
    cloudflare worker 直接反代了。。。都不用服务器
    caneman
        11
    caneman  
    OP
       2023-11-20 14:47:19 +08:00
    @cheng6563
    @limfoo1

    稳定吗?链接超时之类的,对稳定性有一定要求
    zhaoweihao
        12
    zhaoweihao  
       2023-11-20 15:02:29 +08:00
    这不买个 chatgpt plus 然后团队内共享账号就可以了吗
    walle1530
        13
    walle1530  
       2023-11-20 15:35:11 +08:00
    反过来了,我是用了半年多境外服务器,阿里和腾讯的,最近非常不稳定,丢包严重,于是乎现在换到了物理机+代理,十多天了还挺稳
    caneman
        14
    caneman  
    OP
       2023-11-20 15:55:47 +08:00
    @zhaoweihao

    目前是用的 API ,几十个人的规模吧,共享帐号不是很合适
    caneman
        15
    caneman  
    OP
       2023-11-20 15:57:45 +08:00
    @walle1530

    这样的吗?我们目前是代理方案,用了有半年了,但是代理有时候还是会抽风的。

    是不是会有 timeout 之类的问题,还想着切到境外服务器会不会稳一些😑
    xabclink
        16
    xabclink  
       2023-11-20 16:24:26 +08:00
    https://open-assistant.cn 建议看看,可以邮件联系,独立部署,我们这边每天 300 美元左右的服务,使用的是这个系统
    lekai63
        17
    lekai63  
       2023-11-20 16:48:43 +08:00
    cf-worker 反代 最近有个问题:cf 会强制给你带上 cf-connect-ip 附上你的真实 ip 。 然后 openai API 那边会 ban 掉你。
    当然,也可能是因为我直接用 cf 的 ai gateway 的缘故。

    反正现在我转到 render 部署 openai-forward 了
    walle1530
        18
    walle1530  
       2023-11-20 17:22:55 +08:00
    @caneman 反正我用阿里腾讯的是不稳,代理的话要看机场质量,我现在用的还可以
    czy0612
        19
    czy0612  
       2023-11-20 17:42:16 +08:00
    测试过 cf-worker 、腾讯云函数、日本搬瓦工 自建 caddy 反代
    稳定性 自建反代 > 腾讯云函数 > cf-worker
    a342191555
        20
    a342191555  
       2023-11-20 18:01:45 +08:00
    我用的是 Cloudflare CDN + 腾讯云 lightsail 日本 + 八爷的 opencat 反代,已稳定工作半年有余,数据量不小,偶尔会有波动,但绝大多数情况下是正常的
    C603H6r18Q1mSP9N
        21
    C603H6r18Q1mSP9N  
       2023-11-20 21:34:32 +08:00
    我们直接用第三方,价格基本是官方的 1.5 倍,支持 GPT4/ gpt-4-vision-preview, 量不大感觉蛮方便的
    现在用的 https://api2d.com/r/201633
    有 REFFER ,不喜删了即可
    feirisu
        22
    feirisu  
       2023-11-21 11:04:00 +08:00
    我用的阿里云云函数
    1044523901
        23
    1044523901  
       362 天前
    op 解决了? 最后采用啥方案
    caneman
        24
    caneman  
    OP
       361 天前
    @1044523901 目前还是 clash + 机场的组合,境外服务器的看上面 v 友的说法也有波动问题,打算多找几个服务器试试
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1418 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 17:20 · PVG 01:20 · LAX 09:20 · JFK 12:20
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.