你想要的这里都有
每天看一看总有新东西

阿里推出全新推理模型:仅1/21参数媲美deepseek r1(更小尺寸 消费级显卡即可部署)-凯发官网k8

阿里qwen团队正式发布他们最新的研究成果——qwq-32b大语言模型。

这是一款拥有320亿参数的模型,其性能可与具备6710亿参数(其中370亿被激活)的deepseek-r1媲美。

qwq-32b在仅有deepseek-r1约1/21参数量的情况下,用强化学习实现了性能上的跨越。

此外,阿里还在推理模型中集成了与agent相关的能力,使其能够在使用工具的同时进行批判性思考,并根据环境反馈调整推理过程。

简单图床 - easyimage
qwq-32b 在一系列基准测试中进行了评估,测试了数学推理、编程能力和通用能力。

其中,在测试数学能力的aime24评测集上,以及评估代码能力的livecodebench中,千问qwq-32b表现与deepseek-r1相当,远胜于o1-mini及相同尺寸的r1 蒸馏模型。

同时,在由meta首席科学家杨立昆领衔的“最难llms评测榜”livebench、谷歌等提出的指令遵循能力ifeval评测集、由加州大学伯克利分校等提出的评估准确调用函数或工具方面的bfcl测试中,千问qwq-32b的得分均超越了deepseek- r1。

目前,qwq-32b已在和开源,大家也可通过直接进行体验!

 

据阿里云发布的qwq-32b模型信息,该模型经过量化优化后,支持消费级显卡本地部署 ,具体要求如下:

显存需求 :
模型量化后对显存要求大幅降低,20gb以上显存 的消费级显卡即可满足部署需求。例如:
nvidia geforce rtx 2080 ti (22gb显存)9
rtx 3060/3070/3080 或 rtx 4060/4070 系列(需显存≥20gb)48
性能对比 :
相比deepseek-r1模型需要70gb显存(需3张rtx 4090),qwq-32b通过量化技术显著降低了硬件门槛,使得普通用户也能在本地运行性能接近r1满血版的模型15。
部署优势 :
阿里云明确表示,qwq-32b通过技术优化(如强化学习改写)实现了“消费级显卡友好”,且已开源(apache 2.0协议),用户可通过通义app或网页版直接体验

 

未经允许不得转载:凯发官网k8 » 阿里推出全新推理模型:仅1/21参数媲美deepseek r1(更小尺寸 消费级显卡即可部署)
分享到

你想要的这里都有

每天看一看总有新东西

谢谢你的好意,我心领了。

支付宝扫一扫

微信扫一扫

网站地图