你想要的这里都有
每天看一看总有新东西

免费开源!ollama本地部署 deepseek-凯发官网k8

最近一家名叫deepseek的初创公司经过技术迭代与升级,发布了全新一代大模型,“deepseek-v3”。由于这款大模型太过好用,deepseek r1 更是直接免费开源,在ai发烧友圈子传播后,传到了海外社交平台、技术论坛,引发了海外网友的连连称赞。

简单图床 - easyimage
各项性能指标更是和openai-o1 模型不相上下,甚至做到了小部分的超越,关键是开源的,我们可以本地部署使用

简单图床 - easyimage

藏藏教你本地部署,我们可以通过ollama来进行安装

ollama 官方版:【】

点击download进入下载页面,根据自己的电脑系统选择对应版本。
目前支持windows,macos,linux。苹果平台的inter内核和m1系列都支持!!!
我这里用的是windows平台,直接获取exe应用程序,双击安装。点击install,然后全部默认,一路到底。安装完成之后,会自动启动,右下角托盘上会显示应用图标。
这个时候,打开命令行,输入命令:

ollama -v
#ollama version is 0.5.7

执行命令之后,有版本信息,就证明安装成功。如果之前有装过,就直接更新到最新版就可以了,当前最新版微0.5.7

软件安装完成之后,需要获取模型。。一眼就能看到deepseek-r1,排在最上面。
简单图床 - easyimage
点击deepseek-r1进入详情页面,可以看到这个这个模型的描述信息为“deepseek 的第一代推理模型,性能与 openai-o1 相当。”
复制并运行命令:

ollama run deepseek-r1

ollama就开始载入模型了,第一次运行会联网下载。第二次就会直接从本地载入。
默认的模型是7b q4的量化版。大小为4.7g。目测6gb可能可以运行,8g大概率可以运行。

藏藏的显卡12gb显存 选择了14b  可以根据自己显卡的算力选择不同的参数量,在下面的页面中有支持的可选项

ollama run deepseek-r1:14b

模型下载完成之后,就可以开始对话了。直接输入你的问题,按回车就好了

简单图床 - easyimage

可以配合page assist – 本地 ai 模型的 web ui插件使用非常方便或者调用api 在第三方上用

web ui 控制端【】

简单图床 - easyimage

deepseek创始人梁文锋,广东人,17岁考入浙大,30岁创办幻方,36岁管理千亿私募,仅靠百名中国程序员,已赶超openai

小散玩不过量化,如果小编我在股市亏的钱能够为中国ai进步奉献一份力量,那我也就没那么难受了 :)

 

 


安装命令

1.5b qwen deepseek r1

ollama run deepseek-r1:1.5b

7b qwen deepseek r1

ollama run deepseek-r1:7b

8b llama deepseek r1

ollama run deepseek-r1:8b

14b qwen deepseek r1

ollama run deepseek-r1:14b

32b qwen deepseek r1

ollama run deepseek-r1:32b

70b llama deepseek r1

ollama run deepseek-r1:70b

更多模型下载

deepseek-r1

模型 #总参数 #已激活参数 上下文长度 下载
deepseek-r1-zero 671b 37b 128千
deepseek-r1 671b 37b 128千

deepseek-r1-zero 和 deepseek-r1 基于 deepseek-v3-base 进行训练。有关模型架构的更多详细信息,请参阅存储库。

deepseek-r1-distill 模型

模型 基础模型 下载
deepseek-r1-distill-qwen-1.5b
deepseek-r1-distill-qwen-7b
deepseek-r1-distill-llama-8b
deepseek-r1-distill-qwen-14b
deepseek-r1-distill-qwen-32b
deepseek-r1-distill-llama-70b

deepseek-r1-distill 模型基于开源模型进行了微调,使用了 deepseek-r1 生成的样本。我们对其配置和分词器进行了轻微更改。请使用我们的设置来运行这些模型。

评估结果

deepseek-r1-评估

对于我们所有的模型,最大生成长度设置为 32,768 个 token。对于需要采样的基准,我们使用的温度为0.6,top-p 值为0.95,并为每个查询生成 64 个响应来估计 pass@1。

类别 基准(公制) 克劳德-3.5-十四行诗-1022 gpt-4o 0513 deepseek v3 openai o1-mini openai o1-1217 deepseek r1
建筑学 教育部 教育部
# 激活参数 37b 37b
# 总参数 671b 671b
英语 mmlu(通过@1) 88.3 87.2 88.5 85.2 91.8 90.8
mmlu-redux(em) 88.9 88.0 89.1 86.7 92.9
mmlu-pro(em) 78.0 72.6 75.9 80.3 84.0
掉落 (3 发 f1) 88.3 83.7 91.6 83.9 90.2 92.2
if-eval(提示严格) 86.5 84.3 86.1 84.8 83.3
gpqa-钻石级 (pass@1) 65.0 49.9 59.1 60.0 75.7 71.5
simpleqa(正确) 28.4 38.2 24.9 7.0 47.0 30.1
框架(配件) 72.5 80.5 73.3 76.9 82.5
alpacaeval2.0 (lc-胜率) 52.0 51.1 70.0 57.8 87.6
arenahard(gpt-4-1106) 85.2 80.4 85.5 92.0 92.3
代码 livecodebench (pass@1-cot) 33.8 34.2 53.8 63.4 65.9
codeforces(百分位数) 20.3 23.6 58.7 93.4 96.6 96.3
codeforces(评级) 717 759 1134 1820 2061 2029
swe 已验证(已解决) 50.8 38.8 42.0 41.6 48.9 49.2
aider-polyglot (acc.) 45.3 16.0 49.6 32.9 61.7 53.3
数学 aime 2024(通行证@1) 16.0 9.3 39.2 63.6 79.2 79.8
数学-500 (通过@1) 78.3 74.6 90.2 90.0 96.4 97.3
cnmo 2024 (通行证@1) 13.1 10.8 43.2 67.6 78.8
中文 cluewsc(em) 85.4 87.9 90.9 89.9 92.8
c-评估(em) 76.7 76.0 86.5 68.9 91.8
c-simpleqa(正确) 55.4 58.7 68.0 40.3 63.7

蒸馏模型评估

模型 aime 2024 通行证@1 aime 2024 缺点@64 math-500 通过@1 gpqa 钻石通行证@1 livecodebench 通行证@1 codeforces 评级
gpt-4o-0513 9.3 13.4 74.6 49.9 32.9 759
克劳德-3.5-十四行诗-1022 16.0 26.7 78.3 65.0 38.9 717
o1-迷你 63.6 80.0 90.0 60.0 53.8 1820
qwq-32b-预览 44.0 60.0 90.6 54.5 41.9 1316
deepseek-r1-distill-qwen-1.5b 28.9 52.7 83.9 33.8 16.9 954
deepseek-r1-distill-qwen-7b 55.5 83.3 92.8 49.1 37.6 1189
deepseek-r1-distill-qwen-14b 69.7 80.0 93.9 59.1 53.1 1481
deepseek-r1-distill-qwen-32b 72.6 83.3 94.3 62.1 57.2 1691
deepseek-r1-distill-llama-8b 50.4 80.0 89.1 49.0 39.6 1205
deepseek-r1-distill-llama-70b 70.0 86.7 94.5 65.2 57.5 1633
未经允许不得转载:凯发官网k8 » 免费开源!ollama本地部署 deepseek-r1 大模型!媲美openai-o1能力
分享到

你想要的这里都有

每天看一看总有新东西

谢谢你的好意,我心领了。

支付宝扫一扫

微信扫一扫

网站地图