久久免费看-久久免费久久-久久免费精品-久久免费精彩视频-午夜一区二区三区-午夜一区二区免费视频

16點聊電商:元象開源650億參數大模型:全鏈條自研 免費商用

2023-11-06 16:28 | 來源:億邦動力 | 作者:胡鏷心 | [電商] 字號變大| 字號變小


?元象同時提供模型訓練、推理、部署、精調等全方位技術服務,賦能文娛、金融、醫療等各行各業,幫助在智能客服、創意寫作、精準推薦等多場景打造行業領先的用戶體驗...

        【億邦原創】11月6日,元象XVERSE公司宣布開源650億參數高性能通用大模型XVERSE-65B,無條件免費商用,業界尚屬首次。XVERSE-13B模型全面升級,提高“小”模型能力上限。這將讓海量中小企業、研究者和AI開發者更早一步實現“大模型自由”,根據其算力、資源限制和具體任務需求,自由使用、修改或蒸餾元象大模型,推動研究與應用的突破創新。

        元象XVERSE創始人姚星表示:“面對研發時間緊、算力持續短缺等挑戰,團隊依靠豐富經驗,三個月內研發出多款高性能7B、13B模型,并最早為社區獻上一個‘大有可為’的65B模型,為研究、商業及生態創造三重價值。”

        XVERSE-65B底座模型在2.6萬億Tokens的高質量數據上從頭訓練,上下文窗口擴展至16K,支持中、英、俄、法等40多種語言。

        65B模型的性能主要表現在三方面:

        一、理解、生成、推理和記憶等基礎能力,到模型的多樣性、創造性和精度表現,從優異到強大;

        二、擴展了工具調用、代碼解釋、反思修正等能力,為構建智能體(AI Agent)奠定技術基礎,提高模型實用性;

        三、顯著緩解7B、13B中常見且可能很嚴重的幻覺問題,減少大模型“胡說八道”,提高準確性和專業度。

        元象大模型系列均為全鏈條自研,涵蓋多項關鍵技術與研發創新。

復雜分布式系統設計:

借鑒團隊研發騰訊圍棋AI“絕藝”、王者榮耀AI“絕悟”等大系統上的豐富經驗,自研高效算子、顯存優化、并行調度策略、數據-計算-通信重疊、平臺與框架協同等關鍵技術,打造高效穩定的訓練系統,千卡集群峰值算力利用率達58.5%,位居業界前列。

全面提升性能:

65B訓練中采用FlashAttention2加速計算,3D并行基礎上采用虛擬流水線(virtual pipeline)技術,降低較長流水線產生過高氣泡率,提升計算推理效率;上下文窗口長度從8K逐步提升到16K,使其不僅能出色完成復雜任務,包括長文理解、長文生成和超長對話,還拓展了工具調用、代碼解釋及反思修正能力,能更好構建智能體(AI Agent)。

極致提升訓練穩定性:

因計算量龐大,通信擁塞、芯片過熱或計算節點故障成為65B訓練常態,初期出現過一周最高八次故障的情況。通過集群基礎設施運營、資源調度、訓練框架和調度平臺協同等持續優化,元象打造出高穩定、低中斷、強容錯的訓練系統,將每周有效訓練率提升至98.6%。

        目前,元象大模型可在Github、Hugging Face、魔搭ModelScope等多平臺搜索“XVERSE”下載,簡單登記后即可無條件免費商用,能滿足中小企業、科研機構和個人開發者絕大部分的應用與迭代需求。

        元象同時提供模型訓練、推理、部署、精調等全方位技術服務,賦能文娛、金融、醫療等各行各業,幫助在智能客服、創意寫作、精準推薦等多場景打造行業領先的用戶體驗。

        2023年10月,騰訊音樂率先宣布與元象大模型建立戰略合作,共同推出lyraXVERSE加速大模型、全面升級其音樂助手“AI小琴”,未來還將持續探索AI與3D前沿技術,引領音樂娛樂創新方向。

        姚星表示:“真實世界的感知智能(3D),與真實世界的認知智能(AI),是探索通用人工智能(AGI)的必由之路,也是元象持續探索前沿科技的動力。XVERSE開源系列致力于推動大模型國產可替代與持續技術創新,為實體經濟、數字經濟發展注入強勁動力。我們期待與企業和開發者攜手,共同開啟大模型應用新時代!”

電鰻快報


1.本站遵循行業規范,任何轉載的稿件都會明確標注作者和來源;2.本站的原創文章,請轉載時務必注明文章作者和來源,不尊重原創的行為我們將追究責任;3.作者投稿可能會經我們編輯修改或補充。

相關新聞

信息產業部備案/許可證編號: 京ICP備17002173號-2  電鰻快報2013-2023 www.13010184.cn

  

電話咨詢

關于電鰻快報

關注我們

主站蜘蛛池模板: 在线观看亚洲免费视频 | 欧美亚洲国产专区在线app | 色狠狠成人综合色 | 日本一区高清视频 | 一个色亚洲 | 中文字幕在线视频不卡 | 羞羞答答免费人成黄页在线观看国产 | 一二三四五影视在线播放 | 一本久道久久综合 | 天天看逼 | 在线成人免费观看国产精品 | 日日躁夜夜躁狠狠天天 | 婷婷激情狠狠综合五月 | 在线视频福利 | 日本捆绑调教hd在线观看 | 日本japanese丰满高清成人视 | 中文字幕无码中文字幕有码 | 日本片网址 | 日韩黄色影视 | 午夜欧美精品久久久久久久 | 亚洲一区二区三区高清视频 | 日韩69| 天天干天天插天天射 | 色综合天天综合网国产成人 | 欧美一区二区aa大片 | 色久综合网 | 亚洲精品第1页 | 日韩一级大片 | 青草久久久 | 热久久影院 | 亚洲日韩在线视频 | 中文字幕第9页 | 四虎影院一区二区 | 天天天天操 | 性欧美极品xxxx欧美一区二区 | 欧美在线观看一区二区三 | 欧美特黄一区二区三区 | 欧美无人区码卡二卡3卡4免费 | 日韩福利影院 | 自拍偷拍欧美亚洲 | 日韩免费一区二区三区 |