阿里史上最大規(guī)模開(kāi)源發(fā)布，超GPT-4o 、Llama-3.1！

激石Pepperstone(http://dsgkdz.com/)報(bào)道：

今天凌晨，阿里巴巴官宣了史上最大規(guī)模的開(kāi)源發(fā)布，推出了基礎(chǔ)模型Qwen2.5、專用于編碼Qwen2.5-Coder和數(shù)學(xué)的Qwen2.5-Math。

這三大類模型一共有10多個(gè)版本，包括0.5B、1.5B、3B、7B、14B、32B和72B，適用于個(gè)人、企業(yè)以及移動(dòng)端、PC等不同人群不同業(yè)務(wù)場(chǎng)景的模型。

如果不想進(jìn)行繁瑣的部署，阿里還開(kāi)放了旗艦?zāi)Ｐ蚎wen-Plus 和 Qwen-Turbo的API，幫助你快速開(kāi)發(fā)或集成生成式AI功能。

開(kāi)源地址：https://huggingface.co/collections/Qwen/qwen25-66e81a666513e518adb90d9e

Github：https://github.com/QwenLM/Qwen2.5?tab=readme-ov-file

在線demo：https://huggingface.co/spaces/Qwen/Qwen2.5

API地址：https://help.aliyun.com/zh/model-studio/developer-reference/what-is-qwen-llm

下面「AIGC開(kāi)放社區(qū)」詳細(xì)為大家介紹這些模型的性能特點(diǎn)以及測(cè)試結(jié)果。

Qwen2.5系列性能測(cè)試

本次阿里開(kāi)源的最大版本指令微調(diào)模型Qwen2.5-72B在MMLU-Pro

MMLU-redux、GPQA、MATH、GSM8K、HumanEval、MBPP等全球知名基準(zhǔn)測(cè)試平臺(tái)的測(cè)試結(jié)果顯示。

雖然Qwen2.5只有720億參數(shù)，但在多個(gè)基準(zhǔn)測(cè)試中擊敗了Meta擁有4050億參數(shù)的最新開(kāi)源Llama-3.1指令微調(diào)模型；全面超過(guò)了Mistral最新開(kāi)源的Large-V2指令微調(diào)模型，成為目前最強(qiáng)大參數(shù)的開(kāi)源模型之一。

即便是沒(méi)有進(jìn)行指令微調(diào)的基礎(chǔ)模型，其性能同樣超過(guò)Llama-3-405B。

阿里開(kāi)放API的旗艦?zāi)Ｐ蚎wen-Plus，其性能可以媲美閉源模型GPT4-o 和Claude-3.5-Sonnet。

此外，Qwen2.5系列首次引入了140 億和320億兩種新參數(shù)模型，Qwen2.5-14B 和 Qwen2.5-32B。

指令微調(diào)模型的性能則超過(guò)了谷歌的Gemma2-27B、微軟的Phi-3.5-MoE-Instruct，與閉源模型GPT-4o mini相比，只有三項(xiàng)測(cè)試略低其他基準(zhǔn)測(cè)試全部超過(guò)。

自阿里發(fā)布CodeQwen1.5 以來(lái)，吸引了大量用戶通過(guò)該模型完成各種編程任務(wù)，包括調(diào)試、回答編程相關(guān)的問(wèn)題以及提供代碼建議。

本次發(fā)布的Qwen2.5-Coder-7B指令微調(diào)版本，在眾多測(cè)試基準(zhǔn)中，擊敗了那些知名且有較大參數(shù)的模型。

前不久阿里首次發(fā)布了數(shù)學(xué)模型Qwen2-Math，本次發(fā)布的Qwen2.5-Math 在更大規(guī)模的高質(zhì)量數(shù)學(xué)數(shù)據(jù)上進(jìn)行了預(yù)訓(xùn)練，包括由 Qwen2-Math 生成的合成數(shù)據(jù)。同時(shí)增加了對(duì)中文的支持，并通過(guò)CoT、PoT和 TIR的能力來(lái)加強(qiáng)其推理能力。

其中，Qwen2.5-Math-72B的整體性能超越了Qwen2-Math-72B指令微調(diào)和著名閉源模型GPT4-o。

其實(shí)從上面這些測(cè)試數(shù)據(jù)不難看出，即便是參數(shù)很小的模型，在質(zhì)量數(shù)據(jù)和架構(gòu)的幫助下，同樣可以擊敗高參數(shù)模型，這在能耗和環(huán)境部署方面擁有相當(dāng)大的優(yōu)勢(shì)。而阿里本次發(fā)布的Qwen2.5系列將小參數(shù)模型的性能發(fā)揮到了極致。

Qwen2.5系列簡(jiǎn)單介紹

Qwen2.5系列支持中文、英文、法文、西班牙文、葡萄牙文、德文、意大利文、俄文、日文等超過(guò)29種主流語(yǔ)言。與 Qwen2類似，Qwen2.5語(yǔ)言模型支持高達(dá) 128K tokens，并能生成最多 8K tokens的內(nèi)容。

與Qwen-2相比，Qwen2.5系列的預(yù)訓(xùn)練數(shù)據(jù)大幅度增長(zhǎng)達(dá)到了驚人的18萬(wàn)億tokens，超過(guò)了Meta最新開(kāi)源Llama-3.1的15萬(wàn)億，成為目前訓(xùn)練數(shù)據(jù)最多的開(kāi)源模型。

知識(shí)能力顯著增強(qiáng)，Qwen2.5在 MMLU 基準(zhǔn)測(cè)試中，與 Qwen2-7/72B 相比從70.3提高到74.2，從84.2提高到86.1 。Qwen2.5 在 GPQA/MMLU-Pro/MMLU-redux/ARC-c 基準(zhǔn)測(cè)試上也有顯著改進(jìn)。

Qwen2.5能夠生成更符合人類偏好的響應(yīng)，與Qwen2-72B-Instruct相比，Qwen2.5-72B-Instruct的Arena-Hard分?jǐn)?shù)從48.1顯著提高到81.2 ，MT-Bench分?jǐn)?shù)從9.12提高到9.35 。

數(shù)學(xué)能力獲得增強(qiáng)，在融合了Qwen2-math的技術(shù)后，Qwen2.5的數(shù)學(xué)能力也得到了快速提升。在MATH基準(zhǔn)上，Qwen2.5-7B/72B-Instruct的得分從Qwen2-7B/72B-Instruct的52.9/69.0提高到75.5/83.1。

此外，Qwen2.5在指令跟蹤、生成長(zhǎng)文本（從1k增加到超過(guò)8K標(biāo)記）、理解結(jié)構(gòu)化數(shù)據(jù)（例如表格）以及生成結(jié)構(gòu)化輸出（尤其是JSON）方面實(shí)現(xiàn)了顯著改進(jìn)。同時(shí)對(duì)系統(tǒng)提示的多樣性更具彈性，增強(qiáng)了聊天機(jī)器人的角色扮演實(shí)施和條件設(shè)置。?????????