请教各位 AI 大模型大佬，公司让调研垂直领域 AI 大模型的应用可行性，不知道如何入手

[wzl0904]

低压配电行业，目前想到的 AI 场景包括：智慧运维（类似知识问答）、设备健康体检报告、用电节能趋势分析。不知道应该哪些开源大模型能同时干以上的事情。 训练或者微调模型大概需要什么样的硬件设备，还有需要什么量级的基础数据集，一般怎么能得到这些数据？

[freetstar]

可以参考下已经成功商用的一些公司在做什么，比如说上市的两家公司

第四范式和创新奇智

https://www.4paradigm.com



在第四范式的官方的
4Paradigm SHIFT
部分

我觉得和你描述接近的应用案例

[okoklll]

如果是正式的企业级应用，建议用个 72B 左右的效果会比较好，可以考虑 Llama 。
微调的数据大概需要几万到几十万条左右。一般来源有三类：企业内部数据(各种文档，PDF ，表格等)，外部购买的数据和生成数据。另外数据清洗的工作量巨大，要提前考虑好。

[RandomJoke]

@wzl0904 现在就是大部分垂直领域在硬蹭概念。。。明明和大模型 AI 没什么关系

[BreadBig]

部署完 Dify+ollama 就可以开始调研了，我也是相似行业，最近调研完的体会：
LLM 在这种业务场景会有点用，但用处不大，只能想办法用在内部提效，这样的行业目前很难直接交付 AI 的价值给到客户，务实的客户也不一定认可这个效果

[wzl0904]

@BreadBig #24 研究了一下确实 Dify+ollama 比较贴合使用场景 不知道完全离线部署使用 qwen2.5 72b 这种模型 是否和调用在线 api 效果是一样的？ 感觉是不是在线和离线使用效果是不一样的

[BreadBig]

@wzl0904 #25 一样的，本地部署就是隐私优先，但硬件成本高；云 api 就是节约成本按需付费，但数据会有泄露，类似云托管和本地机房是一个逻辑

[javazero]

@lizhisty
从硬件角度来看，微调的成本跟推理相比至少是 5 倍以上。
从投入的时间角度来看，至少也差了一个数量级了。而且遇到的问题也会多很多

所以为了哄领导 不值得把自己的时间 and 好心情搭进去。未来想让工作看起来更 solid 的一点再去尝试微调也可以

[huluhulu]

不要碰微调！
不要碰微调！
不要碰微调！