00:00 - 00:04

今天我来给大家讲讲如何基于DeepSeek R1搭建本地知识库

00:04 - 00:08

以往我们都是通过文本搜索来查询我们本地的笔记内容

00:08 - 00:10

这样不仅精确度不高

00:10 - 00:13

对于跨文档知识的整合能力也几乎为零

00:13 - 00:15

借助DeepSeek R1的帮助

00:15 - 00:18

我们可以随时用自然语言从笔记中检索内容

00:18 - 00:20

DeepSeek R1不仅可以给我们回答

00:20 - 00:23

还可以告诉我们对应的来源文档

00:23 - 00:23

另外

00:23 - 00:26

大家知道大语言有时候会胡编乱造

00:26 - 00:28

回答一些根本不存在的内容

00:28 - 00:29

不用担心

00:29 - 00:32

我在这个文档里面会教你如何解决这个问题

00:32 - 00:35

当我们的笔记中不存在相关内容时

00:35 - 00:37

大模型会诚实地告诉我们

00:37 - 00:39

最后值得专门一提的是

00:39 - 00:41

我们所有的内容都是放在本地的

00:41 - 00:42

包括DeepSeek R1

00:42 - 00:43

笔记

00:43 - 00:44

知识库等

00:44 - 00:46

让你无需联网也可以使用

00:46 - 00:49

再也不必受网络的限制

00:49 - 00:53

我们的搭建一共分为以下几步

00:53 - 00:54

第一步

00:54 - 00:55

安装Ollama

00:55 - 00:57

这是一个AI模型运行容器

00:58 - 00:59

我们必须用它

00:59 - 01:01

才能够运行DeepSeek R1

01:01 - 01:01

第二

01:01 - 01:04

使用Ollama下载DeepSeek R1

01:04 - 01:05

第三

01:05 - 01:07

安装并使用AnythingLLM

01:07 - 01:10

你可以理解为这就是我们的知识库管理软件了

01:10 - 01:11

除此之外

01:11 - 01:13

还有很多类似的软件

01:13 - 01:14

比如Dify

01:14 - 01:15

MaxKB

01:15 - 01:17

Ragflow等等

01:17 - 01:19

但是它们要么知识管理的效果不好

01:19 - 01:21

要么操作太复杂

01:21 - 01:25

而AnythingLLM则可以在这两者间取得一个很好的平衡

01:25 - 01:27

它的安装和操作都很简单

01:27 - 01:29

而且知识管理的效果也不错

01:29 - 01:30

不仅如此

01:30 - 01:32

它还提供了可配置的聊天模式

01:32 - 01:34

以便解决大模型随意杜撰的问题

01:34 - 01:37

非常符合我们本地知识库的要求

01:37 - 01:39

你可以跟着视频一起体验下

01:39 - 01:40

好了

01:40 - 01:40

话不多说

01:40 - 01:42

那我们尽快开始吧

01:44 - 01:47

我们在浏览机敲入ollama.com

01:47 - 01:48

进入Ollama的官方网站

01:48 - 01:50

进入网站之后

01:50 - 01:51

我们点击下面的Download按钮

01:51 - 01:53

在这里选择了你的操作系统

01:53 - 01:54

我用的是Mac

01:54 - 01:56

大家选择自己的就行

01:56 - 01:58

Ollama的使用方法在各个系统上都是一样的

01:58 - 02:00

选择好系统后

02:00 - 02:01

我们点击这里下载

02:01 - 02:03

下载完成后

02:03 - 02:05

我们解压并安装

02:05 - 02:07

安装过程每个系统可能都不太一样

02:07 - 02:08

不过大同小异

02:08 - 02:10

过程中可能会提示你设置一些东西

02:10 - 02:11

比如命令行环境

02:11 - 02:13

直接点击下一步就行了

02:13 - 02:14

安装完了

02:14 - 02:15

我们打开Ollama

02:15 - 02:17

你可能像我这样没有什么反应

02:17 - 02:18

不过没事

02:18 - 02:20

其实已经打开了

02:20 - 02:21

Ollama没有界面

02:21 - 02:22

只会后台运行

02:22 - 02:24

我们可以打开浏览器

02:24 - 02:27

输入localhost:11434

02:27 - 02:28

然后回车

02:28 - 02:30

如果界面上显示Ollama is running

02:30 - 02:34

那就没问题了

02:34 - 02:37

我们再次进入Ollama的官方网站ollama.com

02:37 - 02:40

点击页面上方的Models

02:40 - 02:44

再点击目前排行第一的DeepSeek-R1

02:44 - 02:46

这里有很多参数量可以选择

02:46 - 02:47

数字越大

02:47 - 02:48

效果越好

02:48 - 02:51

但是所需要的显卡配置也就越高

02:51 - 02:56

一般来说7B在效果和硬件要求两方面上可以达到一个比较好的平衡

02:56 - 02:58

对于知识管理来说基本上是够用了

02:58 - 03:00

所以这里我选择7B

03:00 - 03:02

然后我们点击右面的复制按钮

03:02 - 03:04

接着打开终端

03:04 - 03:05

粘贴

03:05 - 03:06

等待它下载完

03:06 - 03:08

我之前下载过

03:08 - 03:08

有缓存

03:08 - 03:10

所以很快就下载完了

03:10 - 03:12

一般来说你可能需要等个一段时间

03:12 - 03:15

毕竟7B的模型有4.7GB这么大

03:15 - 03:16

下载需要等一会

03:16 - 03:20

下载完后我们就可以在命令行里面直接使用了Ollama了

03:20 - 03:21

我们问他问题

03:21 - 03:23

他会给我们回答

03:23 - 03:25

如果你像我这样也可以问答的话

03:25 - 03:26

那就没问题了

03:26 - 03:28

我们按Ctrl-C

03:28 - 03:31

退出这个对话

03:31 - 03:34

我们在浏览器输入anythingllm.com

03:34 - 03:37

来到AnythingLLM的官方网站

03:37 - 03:40

点击下面的Download for desktop

03:40 - 03:41

再选择你的操作系统

03:41 - 03:43

之后就会开始下载了

03:43 - 03:44

下载完后我们安装

03:44 - 03:47

Windows和macOS的安装方式有些不同

03:47 - 03:50

不过跟普通的软件比没有什么太大区别

03:50 - 03:55

就照常安装就好了

03:55 - 03:56

安装好了之后打开它

04:09 - 04:11

点击Get Started

04:11 - 04:13

它首先会让我们选择LLM

04:13 - 04:15

我们搜索Ollama

04:15 - 04:19

并确定下面的模型与我们之前下载的相同

04:19 - 04:22

我这里是deepseek-r1:7b

04:22 - 04:23

然后点击下一步

04:23 - 04:25

再点击下一步

04:25 - 04:27

之后我们点击Skip Survey

04:27 - 04:29

跳过问卷调查

04:29 - 04:30

输入工作区名称

04:30 - 04:32

这个名字可以随便起

04:32 - 04:36

之后我们便来到了AnythingLLM的主界面

04:36 - 04:40

到这里我们就算启动成功了

04:40 - 04:43

AnythingLLM的左侧为工作区

04:43 - 04:47

这个Default便是我们初次启动时定义的工作区名称

04:47 - 04:49

右侧便是对话区

04:49 - 04:54

我们可以随便在对话区问问试试

04:54 - 04:57

比如Quantum X1 Pro的重量是多少

04:57 - 04:59

这是我编的一个手机名称

04:59 - 05:01

现实生活中根本不存在

05:01 - 05:03

而且我也没有上传任何文档

05:03 - 05:09

很多大模型在此时就开始胡说八道了

05:09 - 05:11

看结果也确实是这样

05:11 - 05:15

我们怎么能让大模型诚实地告诉我们它不知道呢

05:15 - 05:17

我们可以点击工作区左侧的设置按钮

05:17 - 05:19

再点击聊天配置

05:19 - 05:21

可以看到这里有两个聊天模式

05:21 - 05:22

一个是聊天

05:22 - 05:24

一个是查询

05:24 - 05:27

当AnythingLLM没有在我们上传的文档里面找到

05:27 - 05:30

任何与问题相关的内容的时候

05:30 - 05:32

这两种模式的处理方式是不一样的

05:32 - 05:36

聊天模式会根据大模型自己的知识给我们一个答案

05:36 - 05:37

即使这个答案是错误的

05:37 - 05:39

它也会强行回答

05:39 - 05:41

而查询模式则会在此时诚实地告诉我们

05:41 - 05:43

找不到任何相关的文档

05:43 - 05:45

我这就将它改成查询模式

05:45 - 05:49

然后点击Update Workspace 更新工作区

05:49 - 05:51

这样可以有效地防止大模型胡说八道

05:51 - 05:52

设置好了之后

05:52 - 05:55

我们回来再问一下相同的问题

05:55 - 05:57

可以看到这次AnythingLLM

05:57 - 05:59

直接告诉我们没有相关的信息

05:59 - 06:01

只不过这个回复是英文的

06:01 - 06:03

如果你看起来不是很方便的话

06:03 - 06:05

我后面会介绍如何把它变成中文

06:05 - 06:11

我们暂时先把其他最重要的内容讲完

06:11 - 06:12

既然是知识管理工具

06:12 - 06:15

那自然得有上传文档的地方

06:15 - 06:16

我们打开软件

06:16 - 06:18

点击工作区右边的上传按钮

06:18 - 06:19

我这里准备了两个文件

06:19 - 06:21

都是我编的手机的规格

06:21 - 06:23

现实生活中根本不存在

06:23 - 06:26

其中就包括我前面问的Quantum X1 Pro的重量

06:26 - 06:36

我们把这两个文件拖到AnythingLLM里面

06:36 - 06:37

然后全选

06:37 - 06:40

点击Move to Workspace

06:40 - 06:43

它们就会出现在下方的工作区文档区域

06:43 - 06:45

紧接着我们点击Save and Embed

06:45 - 06:47

把它们保存起来

06:47 - 06:49

第一次保存可能会等个几分钟

06:49 - 06:50

我之前保存过了

06:50 - 06:52

所以很快就完成了

06:52 - 06:54

然后我们回来再把前面的问题问一遍

06:56 - 07:04

可以看到DeepSeek R1发现了我们上传的文档中提到了这个手机的重量

07:04 - 07:06

最后它就自信地回复了192克

07:06 - 07:11

我们点击下方的Show Citations

07:11 - 07:14

之后就可以发现DeepSeek所参考的文档列表

07:14 - 07:17

点击其中的Quantum X1 Pro手机规格这个文件

07:17 - 07:19

就可以看到具体的内容

07:19 - 07:21

手机的重量确实是192克

07:21 - 07:23

回答没有问题

07:23 - 07:26

我们上传的文件的确起到了作用

07:26 - 07:31

我们在AnythingLLM里面可以定义多个工作区

07:31 - 07:33

每个工作区都有自己上传的文档

07:33 - 07:34

聊天模式等

07:34 - 07:36

彼此之间互相隔离

07:36 - 07:39

比如我们可以创建名为地区介绍的工作区

07:39 - 07:46

打算在里面放各种地区的介绍内容

07:46 - 07:46

同样

07:46 - 07:54

我们把它的聊天模式设为查询

07:54 - 07:55

问一下之前的问题

07:55 - 07:56

回答的答案都是没有信息的

07:56 - 08:01

可以看出这两个工作区的文档确实是互相隔离的

08:01 - 08:05

下面我们往这个新的工作区里面上传一个文档

08:05 - 08:08

这个文档的名称叫做Azure Bay介绍

08:08 - 08:11

Azure Bay也是我编的一个区域

08:11 - 08:13

里面包括这个区域的经纬度等信息

08:13 - 08:14

全都是编的

08:14 - 08:25

我们的目标就是看看DeepSeek会不会只根据文档内容来回答

08:25 - 08:26

上传完毕

08:26 - 08:27

我们来问一下

08:27 - 08:41

Azure Bay的经纬度是多少

08:41 - 08:42

看来DeepSeek找到了答案

08:42 - 08:43

还给出了引用文档

08:43 - 08:45

我们看一下

08:45 - 08:49

DeepSeek的回答确实是正确的

08:49 - 08:53

当我们问的问题在所有文档里面都找不到的时候

08:53 - 08:55

AnythingLLM会诚实的告诉我们找不到

08:56 - 08:57

但回答用的是英文

08:57 - 08:59

你如果想改成中文的话

08:59 - 09:02

可以点击工作区的配置按钮

09:02 - 09:05

再点击里面的聊天配置

09:05 - 09:08

将拒绝响应内容修改为中文

09:08 - 09:11

你可能会发现上面有个聊天提示也是英文的

09:11 - 09:13

与下面拒绝响应内容不同的是

09:13 - 09:17

聊天提示是在问题有对应文档的时候使用的

09:17 - 09:19

AnythingLLM会将你的问题

09:19 - 09:22

对应的文档内容和聊天提示

09:22 - 09:23

同时发送给DeepSeek

09:23 - 09:26

引导他通过文档来回答问题

09:26 - 09:27

如果聊天提示为英文的话

09:27 - 09:30

DeepSeek偶尔也会选用英文回答

09:30 - 09:31

为了解决这个问题

09:31 - 09:34

你也可以将聊天提示修改为中文

09:34 - 09:35

全部修改完毕后

09:35 - 09:38

我们点击最下面的Update Workspace

09:38 - 09:43

然后返回问答页面

09:43 - 09:46

再问一个没有对应文档的问题

09:46 - 09:46

此时

09:46 - 09:51

AnythingLLM给我们返回的就是中文了

09:51 - 09:52

顺便提一下

09:52 - 09:55

我之前也介绍过Google的NotebookLM

09:55 - 09:56

在我的频道里面

09:56 - 09:57

可以找到对应视频

09:57 - 09:59

它跟AnythingLLM有点类似

09:59 - 10:01

也是用来处理知识和笔记的

10:01 - 10:04

NotebookLM解析文档的准确率和总结效果

10:04 - 10:06

都要比本地知识库好不少

10:06 - 10:07

当然

10:07 - 10:09

它最大的缺点是数据存储在云端

10:09 - 10:10

而不是本地

10:10 - 10:10

不管怎样

10:10 - 10:12

感兴趣的小伙伴可以看看

10:12 - 10:13

好了

10:13 - 10:15

今天就到此结束了

10:15 - 10:16

如果我的视频可以给你带来帮助

10:16 - 10:18

欢迎点赞并订阅

10:18 - 10:19

我们下次再见

10:19 - 10:19

拜拜

Building Local Knowledge Base with DeepSeek R1 and AnythingLLM

In the digital age, organizing and accessing information efficiently is key to success. Traditional text search methods often lack precision and struggle with integrating knowledge across multiple documents. However, with DeepSeek R1, a powerful tool, you can now effortlessly retrieve information from your notes using natural language queries. This advanced system not only provides accurate answers but also identifies the source documents.

Installing Ollama for DeepSeek R1

To begin, you need to install Ollama, an AI model runtime container necessary to run DeepSeek R1. Simply visit ollama.com, download the appropriate version for your operating system, and follow the installation instructions. Once installed, open Ollama in your browser by entering "localhost:11434" to ensure it is running seamlessly.

Leveraging DeepSeek R1 with AnythingLLM

Next, navigate to AnythingLLM's official website and download the desktop version compatible with your operating system. Install AnythingLLM, and upon launching the application, select DeepSeek R1 (e.g., deepseek-r1:7b) to configure your workspace. AnythingLLM simplifies knowledge management with its user-friendly interface and customizable chat modes, enabling you to tackle misinformation issues that arise from large language models.

Enhancing Knowledge Management with AnythingLLM

Through AnythingLLM, you can upload and organize documents within workspaces. By setting the chat mode to "query," you prompt the system to provide honest responses when no relevant content is found. This feature ensures reliable information retrieval and reduces the risk of fabricated answers.

Customizing and Expanding Your Knowledge Base

Customize chat settings to receive responses in your preferred language and create multiple workspaces for different topics. Each workspace operates independently, allowing you to compartmentalize information effectively. Upload documents, such as imaginary product details or geographic data, to test DeepSeek R1's accuracy in answering questions based on the content provided.

Comparing Similar Tools and Final Thoughts

While AnythingLLM offers local storage for your knowledge base, Google's NotebookLM provides cloud-based solutions for knowledge and note management, with higher accuracy rates but potential privacy concerns. Explore diverse tools like NotebookLM for comprehensive knowledge organization options based on your preferences.

In conclusion, establishing a local knowledge base using DeepSeek R1 and AnythingLLM enhances information retrieval, accuracy, and management capabilities, empowering you with efficient access to valuable insights. Keep exploring new tools and technologies to optimize your knowledge organization process.

Embrace the power of DeepSeek R1 and AnythingLLM to elevate your knowledge management journey and unlock endless possibilities. Remember, knowledge is power, especially when organized effectively. Dive into the world of local knowledge bases today!


As you embark on your journey to build a robust local knowledge base with DeepSeek R1 and AnythingLLM, remember that the key to success lies in efficient information retrieval and management. Stay curious, explore new tools, and continue optimizing your knowledge organization process for maximum productivity and effectiveness. Happy knowledge building!