部署了一个 Llama3 [8B 和 70B] 欢迎来尝试

[xingfukuaile]

一键直达

8B 版本很惊喜,回复很快，70B 的回复有点慢

[codingBug]

能问问是部署在哪里的吗？

[blackwhites1977]

用的是啥框架啊？

[haiku]

groq 应该是目前最快的服务，定制芯片

[cwcc]

llama3 不微调的话还老是回复英语，即使强制 prompts 中文也老是忘记。等个微调中文的。

[zackzergzeng]

楼主审批通过了？ UI 是 Llama3 自带的吗？

[goodryb]

@cwcc 同感，本地跑个 8b ，感觉总是记不住中文

[NikoXu]

ollama 吧

[NikoXu]

70b 用的什么配置的机器 ?

[gongquanlin]

翻译方面 80b 够用了

[gongquanlin]

8b ，不是 80b 。而且效果不错
@gongquanlin

[siknet]

测试了一下，好像比 3.5 略微聪明。8B 的话大概要多少显存？

[zsxzy]

我也部署了一个, 在 3060 6G , 跑得很慢

[john990]

@gongquanlin #10 我试过之后，llama3 不管是 8b 还是 70b ，加上一些限定条件，翻译就完全崩了。
中文翻译只能返回一些标点符号

[renmu]

llama 的中文语料太少了，中文还是等微调吧

[onionnews]

@cwcc 用这个：Always response in Chinese, not English.

[qloog]

@goodryb
@renmu 中文微调版： https://huggingface.co/UnicomLLM/Unichat-llama3-Chinese-8B

由中国联通 AI 创新中心发布业界第一个 llama3 中文指令微调模型（全参数微调），2024 年 4 月 19 日 22 点上传

[goodryb]

@qloog 看反馈似乎只是微调效果不是很好，看联通回复说可能二次训练，在等等吧

[moyuge]

用这个方法 不需要微调 https://mp.weixin.qq.com/s/EonqaZIKvT7vd9Yavp4tAw

[mkroen]

部署了 llama-8b ，P40 大概占了 16G 显存，感觉英文交流的效果比中文交流好很多，也试了第三方的中文微调模型，效果还是不尽人意。不过速度比较快，效果相比于 Qwen1.5-7b 的效果要好。

[craiiz]

有大神有网盘链接嘛，不知道为什么申请下来的网址在运行 download.sh 时，选择完要下载的模型后就报错：Forbiden...