中國電信發(fā)布全球首個單體稠密萬億參數(shù)語義模型 Tele-FLM-1T
加入技術交流群
IT之家 6 月 19 日消息，中國電信人工智能研究院（TeleAI）和智源研究院聯(lián)合發(fā)布全球首個單體稠密萬億參數(shù)語義模型 Tele-FLM-1T，該模型與百億級的 52B 版本，千億級的 102B 版本共同構成 Tele-FLM 系列模型。
本文引用地址：http://www.biyoush.com/article/202406/460043.htmTeleAI 和智源研究院基于模型生長和損失預測等技術，Tele-FLM 系列模型僅使用了業(yè)界普通訓練方案 9% 的算力資源，基于 112 臺 A800 服務器，用 4 個月完成 3 個模型總計 2.3T tokens 的訓練。模型訓練全程做到了零調(diào)整零重試，算力能效高且模型收斂性和穩(wěn)定性好，Tele-FLM-1T 版本即將開源。
目前，TeleFLM 系列模型已經(jīng)全面開源了 52B 版本，核心技術 (生長技術、最優(yōu)超參預測)、訓練細節(jié) (loss 曲線、最優(yōu)超參、數(shù)據(jù)配比和 Grad Norm 等) 均開源，開源模型下載量過萬，積累超 40 萬用戶。
此外，中國電信在某市民生訴求場景項目上，通過引入 TeleChat-52B 模型能力，整體應用效果提升 40%，達到行業(yè)領先水平。
IT之家附 Tele-FLM-52B 版本開源地址：https://huggingface.co/CofeAI/Tele-FLM
Tele-FLM-Chat 試用 (純模型單輪對話版) 地址：https://modelscope.cn/studios/FLM/ChatFLM
評論