零一萬(wàn)物Yi-VL多模態(tài)語(yǔ)言模型上線，躋身全球開(kāi)源頂尖水平

1月22日，零一萬(wàn)物Yi系列模型家族迎來(lái)新成員，Yi Vision Language（Yi-VL）多模態(tài)語(yǔ)言大模型正式面向全球開(kāi)源。憑借卓越的圖文理解和對(duì)話生成能力，Yi-VL模型在英文數(shù)據(jù)集MMMU和中文數(shù)據(jù)集CMMMU上取得了領(lǐng)先成績(jī)，展示了在復(fù)雜跨學(xué)科任務(wù)上的強(qiáng)大實(shí)力。

據(jù)悉，Yi-VL模型基于Yi 語(yǔ)言模型開(kāi)發(fā)，包括Yi-VL-34B和Yi-VL-6B兩個(gè)版本。在全新多模態(tài)基準(zhǔn)測(cè)試MMMU中，兩個(gè)版本均有不俗表現(xiàn)。

MMMU（全名Massive Multi-discipline Multi-modal Understanding & Reasoning 大規(guī)模多學(xué)科多模態(tài)理解和推理）數(shù)據(jù)集包含了11500個(gè)來(lái)自六大核心學(xué)科（藝術(shù)與設(shè)計(jì)、商業(yè)、科學(xué)、健康與醫(yī)學(xué)、人文與社會(huì)科學(xué)以及技術(shù)與工程）的問(wèn)題，涉及高度異構(gòu)圖像類型和交織文本圖像信息，對(duì)模型的高級(jí)知覺(jué)和推理能力提出了極高要求。令人矚目的是，Yi-VL-34B在該測(cè)試集上以41.6%的準(zhǔn)確率，成功超越了一系列多模態(tài)大模型，僅次于GPT-4V（55.7%），展現(xiàn)出強(qiáng)大的跨學(xué)科知識(shí)理解和應(yīng)用能力。

 

 來(lái)源：https://mmmu-benchmark.github.io

同樣，在針對(duì)中文場(chǎng)景打造的CMMMU數(shù)據(jù)集上，Yi-VL模型再次展現(xiàn)“更懂中國(guó)人”的獨(dú)特優(yōu)勢(shì)。CMMMU包含了約12000道源自大學(xué)考試、測(cè)驗(yàn)和教科書(shū)的中文多模態(tài)問(wèn)題。其中，GPT-4V在該測(cè)試集上的準(zhǔn)確率為43.7%， Yi-VL-34B以36.5%的準(zhǔn)確率緊隨其后，領(lǐng)先于當(dāng)前最前沿的開(kāi)源多模態(tài)模型。

 

 

 來(lái)源：https://cmmmu-benchmark.github.io/

Yi-VL模型在圖文對(duì)話等多元場(chǎng)景中的表現(xiàn)如何？我們先看兩個(gè)范例：

 

 

可以看到，基于Yi語(yǔ)言模型的強(qiáng)大文本理解能力，只需對(duì)圖片進(jìn)行對(duì)齊，就可以得到不錯(cuò)的多模態(tài)視覺(jué)語(yǔ)言模型——這也是Yi-VL模型的核心亮點(diǎn)之一。

 圖說(shuō)：Yi-VL模型架構(gòu)設(shè)計(jì)和訓(xùn)練方法流程一覽。

在架構(gòu)設(shè)計(jì)上，Yi-VL模型基于開(kāi)源 LLaVA架構(gòu)，包含三個(gè)主要模塊：

? Vision Transformer（簡(jiǎn)稱ViT）用于圖像編碼，使用開(kāi)源的OpenClip ViT-H/14模型初始化可訓(xùn)練參數(shù)，通過(guò)學(xué)習(xí)從大規(guī)模"圖像-文本"對(duì)中提取特征，使模型具備處理和理解圖像的能力。

? Projection模塊為模型帶來(lái)了圖像特征與文本特征空間對(duì)齊的能力。該模塊由一個(gè)包含層歸一化（layer normalizations）的多層感知機(jī)（Multilayer Perceptron，簡(jiǎn)稱MLP）構(gòu)成。這一設(shè)計(jì)使得模型可以更有效地融合和處理視覺(jué)和文本信息，提高了多模態(tài)理解和生成的準(zhǔn)確度。

? Yi-34B-Chat和Yi-6B-Chat 大規(guī)模語(yǔ)言模型的引入為 Yi-VL 提供了強(qiáng)大的語(yǔ)言理解和生成能力。該部分模型借助先進(jìn)的自然語(yǔ)言處理技術(shù)，能夠幫助 Yi-VL 深入理解復(fù)雜的語(yǔ)言結(jié)構(gòu)，并生成連貫、相關(guān)的文本輸出。

在訓(xùn)練方法上，Yi-VL模型的訓(xùn)練過(guò)程分為三個(gè)精心設(shè)計(jì)的階段，旨在全面提升模型的視覺(jué)和語(yǔ)言處理能力。

? 第一階段：零一萬(wàn)物使用1億張的“圖像-文本”配對(duì)數(shù)據(jù)集訓(xùn)練 ViT 和 Projection 模塊。在這一階段，圖像分辨率被設(shè)定為224x224，以增強(qiáng) ViT 在特定架構(gòu)中的知識(shí)獲取能力，同時(shí)實(shí)現(xiàn)與大型語(yǔ)言模型的高效對(duì)齊。

? 第二階段：零一萬(wàn)物將 ViT 的圖像分辨率提升至448x448，這一提升讓模型更加擅長(zhǎng)識(shí)別復(fù)雜的視覺(jué)細(xì)節(jié)。此階段使用了約2500萬(wàn)“圖像-文本”對(duì)。

? 第三階段：零一萬(wàn)物開(kāi)放整個(gè)模型的參數(shù)進(jìn)行訓(xùn)練，目標(biāo)是提高模型在多模態(tài)聊天互動(dòng)中的表現(xiàn)。訓(xùn)練數(shù)據(jù)涵蓋了多樣化的數(shù)據(jù)源，共約100萬(wàn)“圖像-文本”對(duì)，確保了數(shù)據(jù)的廣泛性和平衡性。

零一萬(wàn)物技術(shù)團(tuán)隊(duì)同時(shí)也驗(yàn)證了可以基于Yi 語(yǔ)言模型強(qiáng)大的語(yǔ)言理解和生成能力，用其他多模態(tài)訓(xùn)練方法比如BLIP、Flamingo、EVA等快速訓(xùn)練出能夠進(jìn)行高效圖像理解和流暢圖文對(duì)話的多模態(tài)圖文模型。Yi系列模型可以作為多模態(tài)模型的基座語(yǔ)言模型，給開(kāi)源社區(qū)提供一個(gè)新的選項(xiàng)。同時(shí)，零一萬(wàn)物多模態(tài)團(tuán)隊(duì)正在探索從頭開(kāi)始進(jìn)行多模態(tài)預(yù)訓(xùn)練，更快接近、超過(guò)GPT-4V，達(dá)到世界第一梯隊(duì)水平。

目前，Yi-VL 模型已在Hugging Face、ModelScope等平臺(tái)上向公眾開(kāi)放，用戶可通過(guò)以下鏈接親身體驗(yàn)這款模型在圖文對(duì)話等多元場(chǎng)景中的優(yōu)異表現(xiàn)。歡迎探索Yi-VL多模態(tài)語(yǔ)言模型的強(qiáng)大功能，體驗(yàn)前沿的AI技術(shù)成果！ 

Yi-VL 模型地址：

https://huggingface.co/01-ai

https://www.modelscope.cn/organization/01ai

 雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))