LLM local 模型入门和使用

36 天前
iv8d  iv8d

怎么学习和入手呢

目前就看和使用过 huggingface 上 gpt2 示例。

model 相关的 api 不知道怎么查找,比如像使用 gpt2 的 qa 类任务应该如何来做。

本地能跑起来 gpt2 的示例,换成 llama2 的 7b 模型直接就结束了,是因为集显性能原因跑不起来吗

预训练怎么做,上传语料线上训练还是直接本地训练 本地预训练有示例么,简单点的

求教想深入学 ai ,我应该怎么继续下去

1325 次点击
所在节点   Local LLM  Local LLM
10 条回复
YsHaNg
YsHaNg
36 天前
深入的不太清楚 简介强大美观就用 ollama+open webui docker 直接装 显存不够大就不用 cuda 之类的 tag cpu 跑推理也还行 至少大内存能堆参数量 你不在乎延迟后台放着慢慢跑 路由器再设置端口转发提供公网服务
Donaldo
Donaldo
36 天前
本地部署:
- 命令行:ollama
- 图形界面:LM Studio

二者都会提供 OpenAI 格式的 API ,另外你参考一下自己的显存大小和模型大小,太大的就会跑不起来或者要借助 CPU ,所以很慢。
hertzry
hertzry
35 天前
iv8d
iv8d
35 天前
@YsHaNg 目前只了解到 huggingface 的,仅限于使用了 gpt2. ollama 相比 huggingface 有优势?更好学?
iv8d
iv8d
35 天前
@Donaldo OpenAI 格式的 API 是什么,我就用过 transformers 这个框架,还有示例用 pipeline 这种方法。
iv8d
iv8d
35 天前
@hertzry 好 终于找到教程了
Donaldo
Donaldo
35 天前
@iv8d #5  我给你解释半天也不如你谷歌搜一下,就是一个 json 请求和响应的格式,一看便知。
YsHaNg
YsHaNg
35 天前
@iv8d 针对终端用户包装生态好 社区很多应用 对应的前端更新很快 https://openwebui.com/ 也有一键 docker run 用 ollama tag 就是前后端数据库一体 再加载好模型就能用
iv8d
iv8d
35 天前
@YsHaNg 这个刚了解到,需要先安装环境,先试试,谢谢
YsHaNg
YsHaNg
34 天前
@iv8d 当时搜了一圈对我而言是最容易的哈哈 Linux 机器现成的 docker 前后端打包一起 端口设置一下就能到处用了

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1107344

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX