开通了 google cloud 的 Vertex API 来使用 Calude

[xywanghb]

发现 Vertex API 只能通过 API 的形式使用 Claude ， 有没有配套的 python 服务和 UI 壳， 想本地搭一个对话页面

[burndown]

以下两个均可

https://github.com/lobehub/lobe-chat

https://github.com/ChatGPTNextWeb/ChatGPT-Next-Web

[xywanghb]

@burndown 这两个我调研了， 好像只支持 google cloud 里面的 gemini 和其他有限的几个， 这几个在 googlecloud 就是支持对话形式的. 但无法用 claude

[taotaodaddy]

在官方 web claude3.5 的帮助下,用 flask 或者 fastapi 写一个,很快的

[taotaodaddy]

写到一半,就可以用 Vertex API 接着完善了
有点自举的感觉,虽然不是严格意义上的

[burndown]

@xywanghb

都可以自定义 `ANTHROPIC_BASE_URL` 和 `ANTHROPIC_API_KEY`
对了，你需要这个开源项目 https://github.com/cg-dot/vertexai-cf-workers
在 Cloudflare 上搭一个代理，把对 Anthropic 的访问重定向到 CF 的代理上

[xywanghb]

@taotaodaddy 谢谢， 我看看. 我实现了个方案，改了下 chat next web 源代码 简单适配了一下

[xywanghb]

@burndown 还是很多没直接支持， 可能也是 google cloud 那个认证体系和 API 不适配的原因. 走代理感觉有点复杂， 我自己简单改了下 chat next web 源码 把请求 google 的参数返回值适配了下， 用着还行

[burndown]

不可能，至少 lobechat 是支持的，CF 上搭架完后，设置完环境变量后就可以在支持自定义 URL 和 API key 的客户端直接使用。我昨天用的没啥问题

[xywanghb]

@burndown 哥们， 是我的问题，哈哈哈确实可以， 我走的 google 调用 不是 Anthropic ， 导致我接了代理请求的入参格式和 vertex ai 不一样，vertex ai api 得走 Anthropic

[taotaodaddy]

你们拿到 API key 了吗? 我按文档上说的,用 cloud cli 认证方式,然后指定区域和项目就可以调 API 了,翻了半天文档没提 API key 的事儿...


@burndown
@xywanghb

[Baymaxbowen]

@burndown #8 老哥请问这个是什么问题导致的
"error": [
{
"error": {
"code": 400,
"message": "Project `837595362612` is not allowed to use Publisher Model `projects/claude-gpt/locations/us-central1/publishers/anthropic/models/claude-3-haiku@20240307`",
"status": "FAILED_PRECONDITION"
}
}
]
已经给了权限了

[xywanghb]

@taotaodaddy 要下载一个 gcloud 命令行工具

[xywanghb]

@xywanghb 然后 gcloud init 一下就可以了 你可以直接运行他那个 python 代码看能不能调通， 然后再接入其他 UI web

[taotaodaddy]

@xywanghb 我应该就是这么做的,在你发帖之前就可以调用 API 了,并且自己写的 flask 界面
但是我没有 API_KEY,这意味着不能使用其他人写的 WEB UI
后来仔细看了一下 5#说的,https://github.com/cg-dot/vertexai-cf-workers,明白了自定义 API_KEY

[burndown]

@Baymaxbowen model 不对吧，你看 Vertex 里的 model 是啥，客户端调用的是啥？能对应上吗

[Baymaxbowen]

@burndown #15 Claude 3.5 Sonnet ，
LobeChat 做检测的时候会报这个 400 的错误，但是我还是能正常对话

[burndown]

@Baymaxbowen 我觉的是 lobechat 检测的时候用的模型写死了，根本没调用你列出来的。所以不用管他