近日,中國長城旗下長城科技推出長城AIGC一體機。該款一體機基于長城擎天GF7280 V5 AI服務器和國產GPU,可應用于大模型和傳統AI等場景,具有設計性能優異、性價比高的特點。 大模型場景 01 技術創新 單臺支持70B-180B開源大模型FP16精度的私有數據微調,常規70B以上模型微調需要2-3臺8卡滿配80G顯存的GPU才能完成,長城通過顯存擴容方案,解決模型“放不下”問題,微調成本降低60%。 本地私有微調后,即可在原配置上推理,真正做到訓推一體,在金融、新聞、政務、醫療、工業等專業性要求高的垂直領域,模型性能要求高(70B以上規模模型效果好),且對專業知識理解能力強(私有數據微調),長城訓推一體給出了完美解決方案。 02 兼容主流生態 支持主流框架(Pytorch、Tensorflow、PaddlePaddle、ONNX Runtime、DeepSpeed、Colossal-AI),支持主流開源模型(LLama2、...