立即注册 登录
公卫人 返回首页

PH_Pr的个人空间 https://www.epiman.cn/?139252 [收藏] [复制] [RSS]

日志

本地布署DeepSeek,卡成打字机了

热度 6已有 913 次阅读2025-2-9 23:26 |个人分类:聊点技术活| DeepSeek, 本地化布署



目标:
VScode+DeepSeek 本地化布署,让DeepSeek成为编程助手。

步骤:
  1. 下载安装 VScode :https://code.visualstudio.com/
  2. 下载安装 Ollama :  https://ollama.org.cn/search  
  3. 下载 DeepSeek r1 : https://ollama.org.cn/library/deepseek-r1
  4. 打开 VScode,在扩展中,搜索插件“continue”,安装好
  5. 打开 插件“continue”,配置自动安装 deepseek-r1
  6. OK。
测试:
CPU i5 - 12400 32G运存 730显存,勉强带deepseek-r1的32b模型,卡成了打字机状态。
后重新下载了8b稍微流畅一些,但是思考深度明显下降了。本地化布署很吃运行内存和显存。

建议:
如无必要,还是别折腾了。改用 MARSCOOE AI 吧。




路过

鸡蛋
2

鲜花

握手

雷人

刚表态过的朋友 (2 人)

发表评论 评论 (9 个评论)

回复 易9592 2025-2-10 10:36
核显?我看人家都是4080,4090的,要不试试联网版本的,没有数据保密需求不需要本地部署
回复 PH_Pr 2025-2-10 11:20
易9592: 核显?我看人家都是4080,4090的,要不试试联网版本的,没有数据保密需求不需要本地部署
是的,实际上日常办公的台式机或笔记本电脑,部署上还是很吃硬件的。
回复 epiman 2025-2-10 18:13
可以下载 deepseek 蒸馏的 qwen 14b 版本,刚好可以运行,不快也不慢。
回复 PH_Pr 2025-2-11 09:03
epiman: 可以下载 deepseek 蒸馏的 qwen 14b 版本,刚好可以运行,不快也不慢。
谢谢!回头我试试。
回复 baisenes 2025-2-19 21:55
内存带宽可能是瓶颈,考虑一下通道多的e5或者epyc平台,哪怕是老一点的版本,6-8个内存通道效果都会好很多。或者换成silicon。
回复 baisenes 2025-2-19 21:56
啊对了,上述建议是指cpu计算
回复 PH_Pr 2025-3-3 07:41
baisenes: 啊对了,上述建议是指cpu计算
  
回复 aiyzr 2025-7-20 17:53
趁着现在12GB的3060显卡降价,可以考虑来2张入门。
回复 PH_Pr 2025-7-21 09:11
aiyzr: 趁着现在12GB的3060显卡降价,可以考虑来2张入门。
已装。

facelist

您需要登录后才可以评论 登录 | 立即注册

改名|钢镚|会员|联系我们|公卫人 ( 沪ICP备06060850号-3|沪公网安备31010402334125号 )

GMT+8, 2025-9-26 06:51 , Processed in 0.033928 second(s), 7 queries , Gzip On, Redis On.

Powered by Discuz! X3.5

© 2001-2025 Discuz! Team.

返回顶部