请教各位 AI 大模型大佬，公司让调研垂直领域 AI 大模型的应用可行性，不知道如何入手

[wzl0904]

低压配电行业，目前想到的 AI 场景包括：智慧运维（类似知识问答）、设备健康体检报告、用电节能趋势分析。不知道应该哪些开源大模型能同时干以上的事情。 训练或者微调模型大概需要什么样的硬件设备，还有需要什么量级的基础数据集，一般怎么能得到这些数据？

[javazero]

你这个是要干什么的？真要做点东西出来还是哄领导的？

哄领导不建议碰微调。

[qlozin]

huggingface 逛一逛，里面有很多模型，比如 Qwen 的，文档里会说建议使用什么硬件设备进行微调，7B 的微调尚可用游戏卡玩玩，真微调就得酷酷花了。建议哄哄领导得了。

[lizhisty]

@javazero 老哥，为啥哄领导不建议碰微调啊

[faceair]

很简单的场景，调优一下提示词即可，不用微调 找个 qwen2.5 72b 的 api 在你的实际场景试试

[summerwar]

直接问 AI ，他能给你列一张单子

[wzl0904]

@javazero #1 领导的意思是先把这个概念蹭上 就可以对外宣传我们有 AI 大模型了 但是具体程序里还要有这部分代码 至于效果怎么样可以先不考虑

[tuotu]

感觉你这个一个模型搞不定，场景太复杂，定制化感觉也不少

[RandomJoke]

设备健康体检报告、用电节能趋势分析这个俩场景似乎和 AI 都没关系吧。。

[RandomJoke]

@wzl0904 那就是蹭概念，做个 RAG 和插件调用 API 就行了，别整什么微调

[skallz]

像楼上说的，建议哄领导为主，还有像什么报告和分析，这种根本用不到大模型，就是一些数据分析而已，当然我以前的公司也会把这种数据分析对外吹什么 ai 之类的，你也可以这样和领导吹

[wzl0904]

我看垂直大模型的概念就是在通用大模型的基础上进行微调 这个是不是一般小公司干不了啊 硬件和数据集是不是问题点所在啊

[skallz]

另外还有什么知识问答或者什么咨询建议之类的，这种我也碰过，就是检测关键词给提前准备好的文案就行，当然公司也吹是 ai ，哈哈哈哈

[312ybj]

简单的问答，走 rag ，外挂一个开源模型就行，比如 qwen 7b 。 如果涉及到训练微调， 你先得先收集数据集， 租算力设备训练，这个就没边了，自己肯定干不成。 你们领导也是拍屁股决定的，最简单的就是做个 RAG ，弄个开源模型，也还能蹭个边， 算力设备的话，我们一般给客户部署都是 4 卡 4090, 当然小模型 1 张 4090 也够了， 上个量化版本

[acorngyl]

你这是两个需求，知识库是 LLM ，智能诊断和趋势分析是数据分析里的机器学习。
机器学习的东西，可以找几个回归模型跑跑，无所谓。
至于 LLM 的微调，如果老板没有掏出 400 个 w 买 H100 的想法，别碰！你说个人玩玩，弄个 M4 Max 调个小模型，也能玩儿。但是，你项目真上线了，sb 领导还是不是你兄弟，就不好说了。

[skallz]

@acorngyl 其实很多老板只是想要吹个 ai ，具体实现完全不需要机器学习，像我上面说的，数据分析写几个接口搞定，知识库检测关键词预设一些文案即可，这种东西不到一个月就能搞定了，对外吹 ai 别人也不会较真你到底有没有用真 ai ，哈哈哈哈

[wzl0904]

@skallz #15 哈哈我也是这么想的 但是老板强调 吹出去之后确实我们要有大模型这些相关的代码和程序 根本远离上要是大模型的东西

[skallz]

@wzl0904 那也很简单，搞个轻量开源模型，用来处理比如数据分析处理中的数据加减之类的最终结果的简单处理就行，我估计需要相关代码是因为要申请软著，代码需要暴露一部分，也是蹭蹭边就行，以前玩多了这种操作

[wzl0904]

@wzl0904 #16 原理

[wzl0904]

@RandomJoke #8 开始也觉得这个和语言大模型没啥关系 但是看好多垂直领域的大模型都是吹的这方面的能力 这个是不是和多态大模型的一个方面啊 逻辑推导计算能力之类的

[hustwmy]

可以试试部署 Dify 和开源大模型（如 qwen-2.5 ），dify 很易用，可以快速接入自己的知识库和调 prompt ，还有工作流模式可以集成自己开发的代码