00:00 - 00:01

今天我们就来整点好玩的

00:01 - 00:05

就在本地或者云端部署DeepSeek R1的满血版

00:05 - 00:08

它就是这个官方原版的671B的模型

00:08 - 00:11

是目前最强悍的开源的AI模型

00:11 - 00:13

虽然我的硬件完全不达标

00:13 - 00:14

但是我想作死来看一看

00:14 - 00:17

看看能不能实现小鸡扛大炮

00:17 - 00:20

之前估计很多人都会觉得本地部署DeepSeek不够聪明

00:20 - 00:23

那是因为你下载的模型压根就不是最强的开源版

00:23 - 00:27

比方说7B 8B 14B甚至是70B的模型

00:27 - 00:30

这些都不是DeepSeek的官方原版模型

00:30 - 00:31

而是由Qwen和Ollama

00:31 - 00:34

从DeepSeek R1中提炼出来的6个密集型模型

00:34 - 00:36

它们都是蒸馏而来的小模型

00:36 - 00:37

并非是官方原版

00:37 - 00:39

性能完全不在一个档次

00:39 - 00:41

因为官方真正的原版模型只有一个

00:41 - 00:43

那就是671B的满血版

00:43 - 00:45

我们来看一下它这个硬件要求

00:45 - 00:48

就是官方给出的本地部署的最低硬件要求

00:48 - 00:49

像这个CPU的话

00:49 - 00:52

它推荐的是32核的英特尔的CPU

00:52 - 00:54

或者是AMD的骁龙系列

00:54 - 00:57

然后内存的话最低配置要求是512G

00:57 - 01:00

这个内存要求的话一般普通电脑是很难达到的

01:00 - 01:01

可能有的人会想到

01:01 - 01:04

可不可以通过这个虚拟内存来满足这个要求呢

01:04 - 01:05

这个一会我会来实践一下

01:05 - 01:08

然后GPU的话最低需要4块的A100

01:08 - 01:10

80G显存

01:10 - 01:12

然后下方硬盘的话至少需要2T

01:12 - 01:14

网络宽度10个GB

01:14 - 01:16

目前这个DeepSeek的满血版只有一个

01:16 - 01:18

就托管到Hugging Face上了

01:18 - 01:18

我们来看一下

01:18 - 01:20

这个模型文件是非常大的

01:20 - 01:21

它下方是分卷的

01:21 - 01:23

我们来看总共有多少个分卷

01:23 - 01:26

总共有163个分卷

01:26 - 01:28

每个分卷是将近4G左右

01:28 - 01:29

那加起来大概小1T了

01:29 - 01:31

大家可以先看一下我的硬盘

01:31 - 01:33

我目前的系统盘将近是2TB

01:33 - 01:36

安装完成以后只剩下399G了

01:36 - 01:39

所以这个硬盘大小的话是硬性要求

01:39 - 01:41

现在我先给大家看一下我的这个配置

01:41 - 01:44

我当前电脑内存的话只有64GB

01:44 - 01:45

系统是Windows 11的专业版

01:45 - 01:47

然后现在进行本地部署一下

01:47 - 01:48

来做实验看一下行不行

01:48 - 01:51

到时候跟我一样回到刚才的帖子下

01:51 - 01:52

打开以后在下方这里

01:52 - 01:53

首先第一步

01:53 - 01:56

如果需要本地安装满血版的Deepseek的R1模型的话

01:56 - 01:58

那么现在我们需要安装下这款Ollama程序

01:58 - 02:00

它是完全免费开源的

02:00 - 02:01

我们点前往

02:01 - 02:03

打开以后我们点下方有个Download

02:03 - 02:05

把这个客户端给Download下来

02:05 - 02:07

它上方有这个Mac还有Linux

02:07 - 02:09

Windows版本都有

02:09 - 02:11

到时候根据情况去选择就可以了

02:11 - 02:12

因为我当前电脑是Windows的

02:12 - 02:14

所以这我选第三个

02:14 - 02:15

然后现在我们点下载

02:15 - 02:17

总共是700多M

02:17 - 02:18

我们点击下载

02:18 - 02:20

好 下载好以后

02:20 - 02:22

然后现在双击打开进行安装一下

02:22 - 02:23

点击安装就可以了

02:24 - 02:25

好 安装完成以后

02:25 - 02:26

在下方这我们看到

02:26 - 02:27

它已经开始运行了

02:27 - 02:28

然后现在打开它

02:28 - 02:30

打开以后它上方会显示

02:30 - 02:31

欢迎来到这Ollama

02:31 - 02:34

好 当我们安装好这Ollama以后

02:34 - 02:35

然后现在我们去进行下载

02:35 - 02:37

并本地部署这个671b的

02:37 - 02:39

DeepSeek R1开源大模型

02:39 - 02:40

到时跟我一样

02:40 - 02:42

把这一行的下载命令给copy出来

02:42 - 02:43

我们点右侧的复制按钮

02:43 - 02:45

好 复制好代码以后

02:45 - 02:47

然后现在回到刚才终端下

02:47 - 02:48

在上方输入这个命令就可以了

02:48 - 02:50

输入好以后确认一下

02:50 - 02:51

好 这样的话

02:51 - 02:53

它就会开始下载这款

02:53 - 02:54

671b的

02:54 - 02:55

DeepSeek的R1开源大模型

02:55 - 02:57

这个下载过程大概需要一小时左右

02:57 - 02:59

这里需要说明一下的是

02:59 - 03:00

如果你不在海外的话

03:00 - 03:02

那么一定要提前做好科学上网才可以

03:02 - 03:04

好 大概过了一小时以后

03:04 - 03:05

它现在终于下载完成了

03:05 - 03:07

但是它没法正常运行

03:07 - 03:08

大家看一下

03:08 - 03:09

它上方会提示

03:09 - 03:10

我当前内存不够啊

03:10 - 03:12

我还差400多G的内存呢

03:12 - 03:14

然后现在来测试一下

03:14 - 03:15

如果通过增加虚拟内存

03:15 - 03:17

看下能不能绕过这个限制

03:17 - 03:19

然后现在鼠标右键点击我的电脑

03:19 - 03:20

打开里面属性

03:21 - 03:21

进入以后

03:21 - 03:23

点击下方有一个高级系统设置

03:23 - 03:25

打开以后

03:25 - 03:26

然后在上方的高级选项这里

03:26 - 03:27

我们点击设置

03:27 - 03:29

进入以后

03:29 - 03:30

现在我们点击下方有一个高级这个选项

03:30 - 03:32

这时候我们看到

03:32 - 03:34

它下面有个新的内存配置

03:34 - 03:35

然后点击更改

03:35 - 03:37

这个时候我们需要把上方有一个

03:37 - 03:39

自动管理所有驱动器的分页大小文件

03:39 - 03:41

我们需要把这个选项给去掉

03:41 - 03:43

去掉以后

03:43 - 03:44

现在我们在下方这里

03:44 - 03:44

我们选择C盘

03:44 - 03:47

我们需要把这个空间进行自定义一下

03:47 - 03:48

比如像这个初始大小的话

03:48 - 03:50

我们给它设置为350G

03:50 - 03:51

然后现在我们来计算一下

03:51 - 03:53

350×1024

03:53 - 03:55

也就是358400M

03:55 - 03:57

然后这个最大时的话

03:57 - 03:59

我设置为450G

03:59 - 04:00

那就是450×1024

04:00 - 04:03

总共是460800M

04:03 - 04:04

我们填进去

04:04 - 04:06

好 填进去以后

04:06 - 04:08

然后现在需要点下方的设置按钮

04:08 - 04:10

才可以正式载入这个设置

04:10 - 04:12

点击以后它上方会显示出来

04:12 - 04:13

最后我们点击确定

04:13 - 04:14

进行保存一下就可以了

04:14 - 04:16

好 设置好虚拟内存以后

04:16 - 04:18

然后现在需要重启电脑才可以生效

04:18 - 04:20

好 重启电脑以后

04:20 - 04:21

我们来看一下看行不行

04:21 - 04:22

我们现在重新进入到终端下

04:22 - 04:24

输入cmd

04:24 - 04:26

打开以后我们看一下

04:26 - 04:27

这里面模型中有哪些

04:27 - 04:29

我们输入命令ollama list

04:29 - 04:31

来看一下

04:31 - 04:32

大家看一下

04:32 - 04:35

目前这个DeepSeek r1 671B模型

04:35 - 04:36

它已经下载好了

04:36 - 04:37

然后现在进行运行一下

04:37 - 04:38

看能不能运行

04:38 - 04:40

就输入ollama run

04:40 - 04:42

然后我们跟上模型名称

04:42 - 04:44

就是 deepSeek r1 671b 模型

04:44 - 04:46

看能不能运行

04:46 - 04:47

它就开始了

04:47 - 04:48

再等一会

04:49 - 04:50

它载入非常慢

04:50 - 04:51

因为这个模型确实非常大

04:51 - 04:53

这事我们看到它就可以正常运行了

04:53 - 04:55

先给它测试一下

04:55 - 04:55

比如输入

04:55 - 04:56

我说你好

04:56 - 04:58

请自我介绍一下

04:58 - 04:59

我们稍等一会

04:59 - 05:01

这样就开始了

05:01 - 05:02

大家看一下

05:02 - 05:03

目前这个内存话

05:03 - 05:05

它几乎已经占满了100%了

05:05 - 05:08

99% 100%

05:08 - 05:11

来看一下我的GPU

05:11 - 05:13

因为我的显卡是RTX4090

05:13 - 05:15

目前它这个占用的话

05:15 - 05:17

将近70%左右

05:17 - 05:19

主要还是内存这一块

05:19 - 05:20

几乎是占满的

05:20 - 05:21

已经是100%

05:21 - 05:23

因为我用的毕竟是虚拟内存

05:23 - 05:25

过了很久以后

05:25 - 05:25

它终于回复了

05:25 - 05:26

它说你好

05:26 - 05:28

我是由中国深度球索DeepSeek公司

05:28 - 05:30

开发的智能助手

05:30 - 05:31

DeepSeek R1

05:31 - 05:32

安装好以后

05:32 - 05:35

我们还可以通过这款UI插件来调用这个模型

05:35 - 05:36

到这里安装就可以了

05:36 - 05:37

打开以后

05:37 - 05:38

然后把这款插件

05:38 - 05:39

安装到浏览器上就可以了

05:39 - 05:40

安装以后我们打开看一下

05:40 - 05:42

好 安装以后我们看到

05:42 - 05:43

在上方这里

05:43 - 05:44

它就会显示

05:44 - 05:45

当前我们安装好这个

05:45 - 05:47

671B的满血大模型

05:47 - 05:49

选择以后就可以进行使用了

05:49 - 05:50

比如现在我们问他一个

05:50 - 05:51

就三个小伙子

05:51 - 05:52

同时爱上了一个姑娘

05:52 - 05:55

为了决定他们谁能娶到这个姑娘

05:55 - 05:57

他们决定用手枪进行一次决斗

05:57 - 06:00

小李的命中率是30%

06:00 - 06:01

小黄比他好一些

06:01 - 06:02

命中率是50%

06:02 - 06:05

最出色的枪手是小林

06:05 - 06:06

他从不失误

06:06 - 06:07

命中率是100%

06:07 - 06:09

由于这个是显而易见的事实

06:09 - 06:11

为了公平起见

06:11 - 06:12

他们决定按这样的顺序

06:12 - 06:13

就小李先开枪

06:13 - 06:15

然后小黄第二个

06:15 - 06:16

小林最后

06:16 - 06:17

然后这样循环

06:17 - 06:19

只要他们只剩下一个人

06:19 - 06:20

那么这三个人中

06:20 - 06:21

谁活下来机会最大

06:21 - 06:24

他们都应该采取怎么样的策略

06:24 - 06:25

大家先猜一下

06:25 - 06:26

那最后点击递交就可以了

06:26 - 06:29

好 这样的话

06:29 - 06:30

它就可以自己去思考

06:30 - 06:32

最后给出正确答案

06:32 - 06:33

当然下方还有联网功能

06:33 - 06:34

都可以自己开启

06:34 - 06:37

就可以搜索整个互联网

06:37 - 06:38

只不过它的推理速度比较慢

06:38 - 06:40

因为它毕竟是671B的

06:40 - 06:41

我电脑坛硬件没有达标

06:41 - 06:43

而且用的还是虚拟内存

06:43 - 06:45

也就意味着通过这种方法

06:45 - 06:46

本地部署是可以正常运行的

06:47 - 06:48

但是运行速度是极慢了

06:48 - 06:50

言下之意就是

06:50 - 06:51

大炮我们是在小鸡上扛起来了

06:51 - 06:53

但是能不能射出去

06:53 - 06:55

就看各位自身的硬性条件了

06:55 - 06:57

所以如果真的需要部署

06:57 - 06:58

并使用这个满血版本的话

06:58 - 06:59

那么现在我们需要通过这个

06:59 - 07:00

云GPU进行实现

07:00 - 07:01

就是云端部署

07:01 - 07:02

这种部署方法的话

07:02 - 07:03

就比较适合土豪了

07:03 - 07:04

因为价格是比较昂贵的

07:04 - 07:06

这里大家看我操作就可以了

07:06 - 07:07

不要盲目跟从

07:07 - 07:09

因为这价格是按小时计费的

07:09 - 07:09

不便宜

07:09 - 07:11

当然如果是土豪的话可以无视

07:11 - 07:12

然后现在我去测试一下

07:12 - 07:14

我们就通过专业的云GPU进行部署

07:14 - 07:15

我们点前往

07:15 - 07:17

好 打开以后

07:17 - 07:18

如果你没账号的话

07:18 - 07:19

可以自行注册一个

07:19 - 07:21

我们点上面有个sign up

07:21 - 07:22

到时候通过自己的邮箱

07:22 - 07:24

来免费创建一个账号

07:24 - 07:25

创建后我们进登录一下

07:25 - 07:28

好 登录以后它后台是英文的

07:28 - 07:29

这里为了方便演示

07:29 - 07:30

我给它翻译成中文吧

07:30 - 07:32

然后点击右上方有个部署按钮

07:32 - 07:35

好 打开以后

07:35 - 07:37

然后在左侧这里我们选择这个云GPU

07:37 - 07:38

就第二选项

07:38 - 07:41

选择以后

07:41 - 07:42

然后在右侧这里我们选择服务器地址

07:42 - 07:43

这里我了测试下

07:43 - 07:46

如果需要安装高配的云GPU的话

07:46 - 07:48

这里我们需要选择芝加哥才有

07:48 - 07:49

选择以后接着往下拉

07:49 - 07:51

然后在下方这里来选择GPU

07:51 - 07:55

目前我们可以选H100或者是A100都可以

07:55 - 07:57

它价格都是按小时计费的

07:57 - 07:59

所以这里需要注意一下

07:59 - 08:02

像这个8张英伟达A100的话

08:02 - 08:04

显存的话总共是640G

08:04 - 08:06

然后内存的话是960G

08:06 - 08:07

硬盘大小是2T的

08:07 - 08:09

这个套餐已经够用了

08:09 - 08:10

或者可以选择H100

08:10 - 08:12

这个H100的话价格会高一点

08:12 - 08:14

但它这个硬盘应该是不够的

08:14 - 08:16

总共才960G

08:16 - 08:17

这个硬盘有点小了

08:17 - 08:19

所以这我选择A100的

08:19 - 08:21

然后选择8张显卡的

08:21 - 08:23

一小时费用是19刀左右

08:23 - 08:24

选择好以后

08:24 - 08:26

然后在上方这里我们需要选择这个地址

08:26 - 08:27

这个价格没有

08:27 - 08:29

我们看其它有没有

08:29 - 08:30

不会都没有吧

08:30 - 08:31

都没有

08:31 - 08:32

这就完蛋了

08:32 - 08:34

好像这套餐没有

08:34 - 08:35

都没有货

08:35 - 08:37

那看我只能折中下了

08:37 - 08:38

选其它套餐了

08:38 - 08:40

这套商没有货

08:41 - 08:41

目前都没有货

08:41 - 08:42

都被抢没了

08:42 - 08:44

我选择A100看有没有货

08:44 - 08:46

看选这个

08:46 - 08:47

选芝加哥

08:47 - 08:48

也没有货

08:48 - 08:50

那就完蛋了

08:50 - 08:51

H100 有没有货

08:51 - 08:52

08:52 - 08:53

在西雅图有

08:53 - 08:54

只有西雅图有货

08:54 - 08:57

然后这套餐的话是这个8张的H100

08:57 - 09:00

总共是640G内存

09:00 - 09:01

就显存了

09:01 - 09:02

显存是640G

09:02 - 09:04

然后内存的话是2个T的

09:04 - 09:05

这内存非常大的

09:05 - 09:06

肯定足够用了

09:06 - 09:08

就是硬盘稍微一点小

09:08 - 09:10

总共是960G左右

09:10 - 09:11

但应该够用了

09:11 - 09:13

然后现在我们点击确认下

09:13 - 09:13

进去购买一下

09:13 - 09:15

然后到这一步的话

09:15 - 09:17

它需要让我们选择服务器的系统

09:17 - 09:18

比如选择Ubuntu的

09:18 - 09:20

选择最新版本的吧

09:20 - 09:23

这服务器名称的话我们自定义下

09:23 - 09:24

比如输入LINGDU

09:24 - 09:26

这我们点击创建就可以了

09:26 - 09:27

好 这样我们就开始了

09:27 - 09:30

它说当前这个套餐没法创建

09:30 - 09:32

不会也没有吧

09:32 - 09:34

这就完蛋了

09:34 - 09:36

目前都没有货

09:36 - 09:37

那就没法继续了

09:37 - 09:40

但是我会把这云端部署的安装命令给大家

09:40 - 09:40

其实很简单

09:40 - 09:41

总共是三个命令

09:41 - 09:45

第一是云端部署这个DeepSeek R1的671B模型

09:45 - 09:46

安装命令就这两个

09:46 - 09:48

第一是下载并安装Ollama

09:48 - 09:49

安装以后通过第二个命令

09:49 - 09:53

来下载这个DeepSeek R1的671B大模型

09:53 - 09:54

当你安装好模型以后

09:54 - 09:56

最后就通过这个Open WebUI

09:56 - 09:58

来调用这个模型

09:58 - 09:59

安装的话也很简单

09:59 - 10:01

就通过这个Docker命令

10:01 - 10:02

来进行一键安装

10:02 - 10:03

安装好以后

10:03 - 10:05

然后通过服务器IP地址加端口号

10:05 - 10:07

来打开OpenWebUI客户端

10:08 - 10:09

最后只需要在模型设置中

10:09 - 10:11

添加DeepSeek R1大模型就可以使用了

10:11 - 10:13

可能有人会问

10:13 - 10:15

为什么不直接去调用这个API呢

10:15 - 10:16

我看了一下

10:16 - 10:17

但凡是调用API的

10:17 - 10:19

都需要实名制才可以

10:19 - 10:21

如果玩个AI都需要实名制的话

10:21 - 10:22

那我们就...

Unveiling the DeepSeek R1: Exploring Local and Cloud Deployment

In the realm of AI models, the DeepSeek R1 stands out as a powerful force. Rooted in innovation, this 671B official model is a true testament to groundbreaking advancements in AI technology. While many have ventured into local deployment, the allure of unleashing the full potential of the DeepSeek R1 remains undeniable. However, the hardware requirements paint a daunting picture, calling for a CPU with 32 cores, a minimum of 512GB memory, 4 A100 GPUs with 80GB VRAM each, at least a 2TB hard drive, and a network bandwidth of 10GB. These demands may seem insurmountable, leading to the question: can one truly wield a cannon on a small bird?

Unmasking the True Power: The Quest for Implementation

Diving deeper into the local deployment realm, one is met with the need for virtual memory to meet these colossal requirements. Through meticulous configurations and adjustments to virtual memory settings, the journey to harness the DeepSeek R1 commences. Yet, as the installation progresses, the stark reality of hardware limitations emerges, with the system gasping for the colossal demands of the AI giant.

Bridging the Gap: Cloud Deployment Rescues the Day

As the local horizon seems dim, the lifeline of cloud deployment shines brightly. Through platforms like Hugging Face and the deployment of the DeepSeek R1 on cloud-based GPUs, the unreachable becomes attainable. However, one must tread carefully, as the price tag aligned with cloud deployment demands a discerning eye. Choosing the right GPU configuration, battling through server address selections, and venturing into deployment territories reveal a path that only the bold and financially equipped can tread.

Conclusion: A World of Possibilities Awaits

In a world where the boundaries of AI exploration blur with each passing day, the journey to deploy and unleash the potential of the DeepSeek R1 emerges as a testament to human ingenuity. Whether through local feats or cloud-based victories, the realm of AI beckons the daring and the curious to push the limits of what is possible. So, take a step forward, embrace the challenge, and witness the marvels that await in the realm of the DeepSeek R1.

In the realm of AI exploration, the DeepSeek R1 beckons, inviting the brave to unveil its mysteries and potentials, transcending the boundaries of what was once deemed impossible.