我在 aws lambda 上调用 openai 的 createChatCompletion 接口，耗时 30s

[hackingwu]

我在 aws lambda 上调用 openai 的 createChatCompletion 接口，耗时 30s ，正常吗，问题可能是出在哪里呢？要怎么优化呢？我的 aws 区是新加坡。

[corningsun]

aws lambda 是不是每次都在初始化？

可以配置过期时间，然后加一个定时调度来保活，这样不会每次都初始化 lambda 。

[hzzhzzdogee]

@corningsun 赞同一楼

[vmlinz]

接入 cloudwatch xray ，看看问题。

楼上说的冷启动问题也可能，https://aws.amazon.com/blogs/compute/operating-lambda-performance-optimization-part-1/

可以用 event bridge 定期唤醒，或者预留实例，文档都有介绍。

30 多秒看起来即使是冷启动也不会这么久，你还要看看你的 lambda 函数初始化时间。所以最好集成 xray ，看看数据。

实在不行就换成 ecs fargate 去执行。

[rukeypei]

之前我用 lambda 配置函数内存 128M, 从实例初始化到返回数据需要大概 8s 左右, 把内存提高到 512M, 时间降低到 1.4s 完全能接受, 后来经过测试, 随着内存配置的升高, 从实例初始化到返回数据会降低, 最后测试内存 2.5g 大概只需要 0.7s 左右(冷启动到处理完成返回数据), 最后我设置到了内存 512M.
这里有个文章可以参考:

https://docs.aws.amazon.com/zh_cn/lambda/latest/operatorguide/computing-power.html