求教 4090 的稳定运行的硬件配置，可以跑的大模型配置？

[sjmcefc2]

想求一个 4090 的配置单， 还有就是基于这个配置单，如何配置一个本地化运行的大模型呢？ 感觉有点无从下手啊，需要学习哪些？目前的目标是机器装起来，本地化大模型配置起来，自己稳定的运行一下。 不知道会不会像黑苹果那样认硬件认系统啥的，求教了，感谢大家。

[chesha1]

@sjmcefc2 有可能可以直接导入，但是效果不能保证，而且有的 LLM 对于 prompt 很敏感，直接说不一定有效

比如，下面是一个 prompt 的实例，“请解读下面这一张文本，它代表了一张资产负债表，任务是总结资产类科目的期末值。资产负债表的格式是 xxx”
这样，可能对于人类，可以有不同的方式说一段类似的话，但是模型可能会输出很不一样的结果
从成本考虑，先做 prompt engineering 是比较好的，如果不行再微调