https://github.com/pandodao/tokenizer-go
最近在用 Go 做基于 OpenAI API 的应用,需要在请求前对 token 做检查,当请求太大时可以自动的缩减 (Chat completions) 或者分批次请求 (Embeddings),github 没找到可以在 Go 里用的包,所以打算自己写一个。
从头实现的难度太大,取巧了一下,embed 了现成的 npm 包,然后通过 JavaScript 函数调用来获取结果,这样在 Go 里就跟原生包一样直接用了。得益于使用的 goja 库是纯 Go 实现的 JavaScript engine ,所以也不需要 CGO 那些,从 Benchmark 上看执行效率也不错。有类似需求的话可以直接使用。
这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。
V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.