本地运行DeepSeek服务的一组尝试

二月 14, 2025

Tech

Deep Seek的出现，将AI大模型部署的成本大大降低，拥有一个本地/专属的ai服务器成为了可能，笔者以现有的计算机系统就此进行了一些测试。

先说结论，目前主流个人计算机系统上运行DeepSeek的结果相较于官网结果而言，可说是不可用的。

测试环境

本次测试软件使用LM Studio，硬件采用了两个对照平台：

Apple Mac mini M2 Pro 16G MacOS ，以下简称「M2Pro」
Apple Mac mini M4 Pro 64G MacOS，以下简称「M4Pro」
12700K CPU/64GB RAM/Nvidia 4070 12G Windows ，以下简称「4070」

M2Pro、4070两套系统大约购入时间为2023年下半年，购买价格都是人民币10000左右。属于入门级的，和目前大多数人家里的电脑系统水平差不多。

M4Pro是在2025年2月购入，18000元左右，价格和一台5080显卡的高端PC差不多

测试问题

请整理金庸小说中丘处机和张无忌的社会联系

回答这个问题比较困难，需要熟悉《射雕英雄传》、《神雕侠侣》、《倚天屠龙记》三部小说内容，并能梳理丘处机和张无忌的建立至少3层社会关系，人工整理的答案如下：

丘处机的徒弟杨康之子杨过，在华山之巅曾经向张三丰传授过武功经验；丘处机的徒弟郭靖之女郭襄，与觉远、张三丰师徒有过一段共同经历；张三丰是张无忌的太师父。

运行结果

本地运行的DeepSeek的各个版本都无法给出正确的回答。唯一比较接近的是32B的Q8精度版本，找到了两人的第二层关系，但在4070系统上运行速度极慢，也只能归类于不可用。

以下是本地运行各个版本的试验结果及评价

deepseek-r1 版本	环境	思考时间	输出速度	答案与评价
distill-llama-8b Q4_K_M 4.92 GB	M2Pro	16秒	25	张无忌大战丘处机查看
	4070	6秒	60	创作了一个缝合怪的故事查看
distill-llama-8b-oq8_0-f32.ef32.iq4_k Q8_0 8.54 GB	M2Pro	43秒	13	丘处机成了张三丰老婆，大乱斗查看
	4070	32秒	14	创作了一个古龙风格的武侠故事查看
distill-qwen-14b Q4_K_M 8.99 GB	M2Pro	14秒	12	内容无误，但无法找到联系查看
	M4Pro	14秒	19	存在事实错误，无有效答案查看
	4070	79秒	9	内容无误，但无法找到联系查看
distill-qwen-32b IQ2_XXS 9.03 GB	Mac	34	5	存在事实错误，无有效答案查看
distill-qwen-14b Q8_0 15.70 GB	M4Pro	29秒	14.4	叙述存在事实错误，未找到有效联系查看
	4070	106秒	3	叙述存在少量事实错误，但找到了中间人物张三丰查看
distill-qwen-32b IQ2_XXS 9.03 GB	Mac	34秒	5	存在事实错误，无有效答案查看
distill-qwen-32b Q2_K 12.31GB	4070	155秒	2	找到一层联系，如郭靖、张翠山，存在少量事实错误查看
qwen-2.5-32B-ablated-Q4-mlx 18.44 GB	M4Pro	56秒	12.73	梳理了两人的部分社会关系，但不全面查看
distill-qwen-32b Q4_K_M 19.85 GB	4070	227秒	2	第一层社会关系分析较全面，但未找到关键人物查看
distill-qwen-32b-mlx 8bit 34.82 GB	M4Pro	95秒	7	梳理了两人的部分社会关系，但不全面，且存在少量事实错误查看
distill-qwen-32b-uncensored Q8_0 34.82 GB	4070	288秒	1	能扩展第二层社会关系，但依然不能找到关键联系查看
distill-llama-70b-uncensored-v2 IQ4_XS 38.27 GB	M4Pro	108秒	4.97	丘处机、张无忌、李逵三角恋查看
Distill-Llama-70B Q3_K_M 34.27GB	M4Pro	87秒	3.43	李秋水乱入，废话连篇查看
distill-llama-70b Q3_K_L 37.14GB	M4Pro	97秒	3.05	丘处机成了小说名称查看

结论

目前入门消费级计算机系统上还不能运行可用的DeepSeek大模型，同时也得到一个初步观察结果，本地运行大模型的关键性能瓶颈是显存/统一内存的大小

12G显存的系统可以流畅运行大小8G以内的模型
16G统一内存的Mac可以流畅运行大小10G以内的模型
64G统一内存的Mac可以流畅运行大小30G以内的模型

小于这个限制的情况下，Nvidia系统速度较快。考虑到总体成本和功耗，目前达到同样性能的Mac系统和Nvidia显卡系统，Mac性价比要高于Nvidia系统。

官网结果

DeepSeek官网：点出了张三丰这个关键人物，但未找到丘处机与张三丰的联系（杨过/郭襄）查看结果
通义官网：点出了张三丰-张无忌这个关键联系，但未建立丘处机与张三丰的联系查看结果
ChatGPT o1：推测出了张三丰和丘处机的可能关系，但没有找到关键事实查看结果

比较而言，DeepSeek官网、通义官网、ChatGPT o1虽然也不能准确找到间接联系，但都找到了丘处机和张无忌社会关系中的关键中间人物张三丰，如果仅作为辅助的资料整理，已经达到可用级别了，个人觉得ChatGPT o1的答案更好一些。

第三方云服务结果

火山方舟的DeepSeek R1云服务的结果，完全推理出了笔者人工答案没有找到的其中的一个明确社会联系，丘处机弟子郭靖之女郭襄创立峨眉派，而峨嵋弟子周芷若与张无忌有感情纠葛，答案可用。查看结果

相较于DeepSeek官网的结果质量提升非常大，这个差异估计是因为官网算力紧张造成的降权导致的。

建议

非敏感的内容处理，目前最佳的选择是使用第三方云服务提供的DeepSeek服务。

如果需要建立自己的个人Deep Seek服务，目前的主流计算机硬件无法提供可用的服务。但基于DeepSeek引爆的关注度，可以预见很快将有价格可以接受的消费级产品出现，所以建议再耐心观望一段时间，不用着急出手。

后续

根据之前的调研，在搭载4090（24G显存）或者196G以上统一内存的Mac系统上有可能可以运行1.58b精度的671B版本模型，这两者目前的价格都比较昂贵。后续在条件允许的情况下将对此进行验证。