7月2日消息，百度近日，文心發(fā)布兩個月的開源文心4.5系列模型正式開源，包括47B、自主3B激活參數(shù)的龍芯MoE混合專家模型與0.3B參數(shù)的稠密模型等10款，而就在文心大模型開源首日，時間深入龍芯中科與百度啟動了技術(shù)合作，合作基于最新發(fā)布的百度龍芯3C6000系列。

雙方將共同推進國產(chǎn)算力基礎(chǔ)設(shè)施與大模型技術(shù)的文心融合創(chuàng)新，為AI產(chǎn)業(yè)化應(yīng)用提供安全可控的開源“中國芯”解決方案。

據(jù)悉，自主百度文心4.5系列模型均使用飛槳深度學習框架進行高效訓(xùn)練、龍芯推理和部署。時間深入在大語言模型的合作預(yù)訓(xùn)練中，模型FLOPS利用率(MFU)達到47％。百度

實驗結(jié)果顯示，文心4.5系列模型在多個文本和多模態(tài)基準測試中達到SOTA水平，在指令遵循、世界知識記憶、視覺理解和多模態(tài)推理任務(wù)上效果尤為突出。

核心技術(shù)點包括：多模態(tài)混合專家模型預(yù)訓(xùn)練、高效訓(xùn)練推理框架、針對模態(tài)的后訓(xùn)練。

龍芯3C6000與文心4.5系列開源模型的技術(shù)合作，標志著龍芯CPU在AI算力領(lǐng)域取得實質(zhì)性突破。

未來，雙方將持續(xù)推動大模型在生產(chǎn)場景中的規(guī)?；瘧?yīng)用，為促進國產(chǎn)AI生態(tài)繁榮發(fā)展貢獻力量。

龍芯3C6000系列處理器具有高性能、高可靠、高安全、全自主等特點，采用自主龍架構(gòu)指令集、自主工藝，單硅片最多16核心32線程，可雙硅片、四硅片整合封裝，單芯片最多64核心128線程，并支持雙路、四路并行，一套系統(tǒng)即可做到128核心256線程。

龍芯3C6000系列可滿足通算、智算、存儲、工控、工作站等多場景的計算需求，并獲得了《安全可靠測評公告》當前最高等級Ⅱ級認證。

本文來源：http://www.cx2088.cn/news/27a39999573.html

版權(quán)聲明：本文內(nèi)容由互聯(lián)網(wǎng)用戶自發(fā)貢獻，該文觀點僅代表作者本人。本站僅提供信息存儲空間服務(wù)，不擁有所有權(quán)，不承擔相關(guān)法律責任。如發(fā)現(xiàn)本站有涉嫌抄襲侵權(quán)/違法違規(guī)的內(nèi)容，請發(fā)送郵件舉報，一經(jīng)查實，本站將立刻刪除。