腹地部署照旧硬核玩家的玩法。

这个春节假期，要说"红得发紫"的科技居品，DeepSeek 应该当之无愧。

致使平时对科技新闻无所回避的长者们，也走过来问小雷有莫得传闻过 DeepSeek。在我的印象中，上一次 AI 大模子如斯深刻东谈主心的，照旧 OpenAI 的 ChatGPT。

大富大贵的背后，是 DeepSeek 遇到连气儿且高强度的积存挫折，大部分时候官网都没宗旨渊博生成内容，即便关闭联网搜索，具备深度推聪敏力的 DeepSeek-R1 在线模子照旧无法渊博使用。好在，在华为等强大科技公司的撑合手下，第三方平台纷繁接入 DeepSeek 的 API，让沉稳在线使用成为了可能。

不外这些渠谈践诺上照旧线上调查，春节技能休息的小雷，还想玩一把更大的，比如把 DeepSeek 大模子部署到腹地。

于是，在春节技能，小雷动起手来实践了一下。

下载慢还得敲代码，打造" AI 电脑"阻挠易

事实上，不管是不是 DeepSeek，想要在我方电脑部署一个腹地大模子，推广的智商并未几，难点在于寻找到对应的资源和敕令。但需要预防的少量是，腹地大模子虽说是还是磨真金不怕火好的制品，但也需要有一定的硬件基础，体验才算得上好。

（图片来自 Ollama）

最初，咱们不错到 Ollama 官网下载一个桌面端应用，这个应用相等于一个承载腹地大模子的"盒子"，除了 DeepSeek 以外，你不错在 Ollama 官网的模子库中找到许多开源大模子。

Ollama 桌面端并不提供任何戒指界面，想要将大模子下载到腹地，需要在 Ollama 官网的模子库当中找到对应模子的代码，复制到 PowerShell（Win+R 输入 PowerShell 回车怒放）当中，就不错推广模子数据的拉取和装配。

（图片来自雷科技）

小雷选的是 DeepSeek-R1 模子当中的 7b 版块，也便是带有 70 亿参数的 DeepSeek-R1 模子，占用 4.7GB。腹地大模子参数目越大当然是越好，不错提供更精确的说话斡旋和更高质料的文本生成智力，具备更强的逻辑推理和学习智力，同期学问储备和泛化智力。但腹地大模子依赖电脑计较智力，每个东谈主对大模子的需求不同，不应该"硬来"。

一般来说，运行 1.5B 参数的模子最低需要 4GB 显存的 GPU 以及 16GB 的内存，要是够不上条目，则会强欺骗用 CPU 进行计较，硬件包袱更大，且推理的时候会更长。而满血版的 DeepSeek-R1 参数目为 671b，体积达到 404GB，需要更高规格的计较硬件才能包袱得起，关于个东谈主部署需求，小雷提议 1.5b-8b 参数最为安妥。

（图片来自雷科技）

模子数据拉取收尾，系统则会自动推广装配，完成之后就不错径直在 PowerShell 窗口当中径直调取刚下载的 DeepSeek-R1 模子，输入框填写问题发送，腹地大模子就会推理并生成。

到这里，DeepSeek-R1 腹地大模子的部署就完成了，表面上大家也不错凭据这样的设施去部署其它大模子上电脑。

但每次开启电脑都要怒放 PowerShell 界面才能激活大模子，关于庸碌用户而言并不节略，这个时候咱们需要给 DeepSeek-R1 装配一套更直不雅的交互界面。小雷收受了在 Docker 应用（图标是一个蓝色海豚）上添加一个 Open-WebUI 组件，让 DeepSeek-R1 不错通过浏览器界面交互，并赋予它筹谋凹凸文的智力。

具体来看，需要先下载 Docker 桌面端，按照默许的指引完成装配之后（可跳过账号注册等智商），再次怒放 PowerShell 界面复制并推广以下这条教唆，小雷帮大家省下去 Github 查找的时候了：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

要是是使用 NVIDIA GPU 的小伙伴，则需要使用以下这条教唆：

docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

拉取大模子文献和 Open WebUI 组件需要一个比较漫长的进程，尤其是积存不太梦想（或者莫得科学上网）的环境，下载器会不断重试 / 切换浮现，出现下载进程丢失的问题。

装配完成之后，Docker 应用中就会出现一个 Open-WebUI 的筹谋组件，把它勾选启动，再点击" 3000:8080 "字样的流通，系统就会跳转到网页。

（图片来自雷科技）

这个时候，你就得到了一台带有 AI 腹地大模子的真实的" AI 电脑"了。

小雷体验了所有这个词部署进程，智商并不算复杂，系统的数据拉取和装配都是自动化的，主要照旧在搜索敕令行和装配资源，以及拉取和装配组件时花了比较多的时候，Ollama 和 Docker 都不错通过百度搜索到，小雷也在上头提供了对应的跳转流通，出手智力且有酷好的列位不错尝试尝试。

固然了，腹地部署大模子的设施并不惟有这一个，像华为刚推出的 ModelEngine 等，具备一站式磨真金不怕火优化和一键部署的智力，应该是面向企业端的开发器具。

离线使用是功德，但生成智力不如云霄版

国内的 AI 大模子应用收受许多，况且网页端干事很皆全，那么腹地部署的酷好在那儿？

前边铺垫了这样多责任准备腹地大模子，要津有两点：第一，腹地大模子的所有模子数据和对话纪录都是统统离线，存储在腹地，腹地推理反映时候更快，也幸免了敏锐内容走漏。同期在飞机等无网环境之下，也不错渊博使用大模子；第二，腹地部署撑合手各式开源模子，个东谈主用户不错生动扩展和切换，也不错凭据自身需求进行优化和器具集成，总之操作空间会比线上大模子更多。

不外小雷部署的时候还不长，许多功能还没摸了了，此次就毛糙商榷一下腹地大模子的体验怎么。

小雷装配 DeepSeek-R1 7b 模子的电脑是机械立异无界 14X，草率本定位，运行内存为 24GB，并莫得配备独处显卡这种硬件，不在腹地部署大模子的推选建立范围内，算是一个"反面讲义"。换句话说，DeepSeek-R1 7b 模子在这款电脑上，需要更多的推理时候和资源占用才能够渊博生成内容。

（图片来自雷科技）

像"饭后胀气"等问题的商榷和谜底，大模子需要想考 30 秒 -1 分钟才到谜底生成阶段，技能电脑的负载会达到岑岭，CPU 和内存险些被占满，不错假想莫得独处显卡的电脑带动腹地大模子会比较吃力，小雷以为给出的谜底果然有一定的正向参考的作用。

（图片来自雷科技）

比较于谜底，小雷更感酷好的照旧 DeepSeek 拟东谈主化的想考进程，很少有 AI 助手把想考的进程作念到如斯拟东谈主化，不管生成的谜底是否准确，它的拟东谈主化推理进程似乎也能激起许多庸碌用户的酷好。

要是把相通的问题放在网页端的 DeepSeek 大模子，并启用 R1 深度想考，径直生成了一个"干事器辛苦"的回馈，密集的调查果然给 DeepSeek 变成了不少困扰，这个时候想要渊博地和它交谈，腹地部署智力不一定很强，至少能够调查得到。

（图片来自 DeepSeek）

再换一个问题，小雷用了沿路过典的概率题目向腹地 DeepSeek-R1 7b 发起发问。网页端 DeepSeek-R1 合手续辛苦中，腹地 DeepSeek 可能也有一些昆玉无措，列举了多种情况后又自行驳回，终末还混入了之前发问的"饭后胀气"的内容，画面显得相等滑稽。

（图片来自雷科技）

腹地 DeepSeek 在连气儿输出十多分钟后也莫得提供谜底，探求到时候有限，小雷照旧住手了生成。

只可说数学题目关于 70 亿参数的 DeepSeek-R1 7b 照旧过于复杂，在线大模子都不一定能够输出准确谜底，腹地就更成问题了，同期高参数的腹地大模子推理的进程中，电脑的负载压力也会拉满。

从开源的角度去分析，腹地大模子的延长性和可玩性会比传统的线上大模子更好玩。但腹地大模子的部署大家也很了了，操作起来并不是很容易，想要挖掘更多玩法，照旧要靠出手智力强的用户。

腹地部署 DeepSeek，仅仅图个清新好玩？

那么，腹地大模子值得东谈主手一个吗？小雷的谜底是狡赖的。

就现阶段的生成智力来说，腹地大模子很难跟线上大模子忘形，参数规模和计较智力摆在那，确定没法跟正规大模子公司背后的算力集群对比。腹地大模子安妥出手智力强的电脑用户折腾，深度发掘果然能带来一些功能上的便利，毕竟腹地大模子在系统底层中运行，能够更好地与硬件连络。

但算作庸碌用户，部署自己也算不上是一件多容易的事情，大模子的临近配套并莫得假想中纯熟，Ollama 官网全是英文，Docker 应用也不提供汉文撑合手，自己在部署上就有较高的门槛。小雷部署一个腹地 DeepSeek 大模子，仅仅图个清新，平均生成用时 20 秒起步，除了不错离线遍地用，庸碌的生成需求，体验照旧不如在线大模子。

像读取文献分析、联网积存数据分析这些智力，还需要用户我方来折腾，小雷现时部署的 DeepSeek 还仅仅个开动。另外要是你有一天无须了想要删掉大模子数据，还需要学习智商来取销，不然它就会一直占用系统盘的存储空间。

（图片来自 mockup）

在小雷看来，DeepSeek 走开源谈路，最主要的原因照旧为了打响市集影响力，先行占据市面目位，诱骗行业围绕它来培育完善的干事体系。抛开 Ollama 这些不说，国内强大大模子平台率先接入 DeepSeek 的 API，便是开源带来的径直效力。

不错假想，佩戴超高热度的 DeepSeek 完成各行业的应用和浸透，个东谈主腹地部署的需求也会变得远比当今毛糙，调起 PowerShell 界面、敲代码这些事情致使都不需要用户来作念。

至于 DeepSeek 会发展成什么样，小雷还无法展望，被行业高度关心利大于弊，不沉稳的干事仅仅短痛，能够晋升市集占比走到庸碌用户身边，浸透到各个开采万博体育，到阿谁时候，腹地部署这件事情粗略自己就莫得必要了。