一、準備工作

在正式開始之前，你需要準備以下內容：

一臺配置還不錯的電腦（建議至少有獨立顯卡，內存 16GB 以上，顯存越高越好, 沒有獨立顯卡也沒關系）。穩(wěn)定的網絡環(huán)境（下載模型文件時很重要）。一點點耐心，畢竟我們要部署的是大模型，可能會花點時間。

二、安裝 Ollama

我們使用的軟件是 Ollama，它是一個非常方便的本地大模型運行工具。

1. 下載 Ollama

• 官網地址：Download Ollama on macOS
• 打開官網后，根據(jù)你的操作系統(tǒng)選擇對應的版本進行下載（Windows、Mac、Linux 都支持）。

2. 安裝 Ollama

• 下載完成后，雙擊安裝包進行安裝。
• 安裝過程非常簡單，一路點擊“下一步”即可。
• 默認情況下，Ollama 會安裝到 C 盤，建議不要修改安裝路徑，直接按默認設置安裝。

3. 檢查安裝是否成功

• 打開命令行（Windows 用戶可以按 Win + R，輸入 cmd，然后回車）。
• 輸入以下命令，檢查 Ollama 是否成功安裝：

ollama -v

• 如果顯示版本號，說明安裝成功！

三、拉取大模型（DeepSeek）

接下來，我們需要通過 Ollama 下載 DeepSeek 模型。這一步需要用到命令行，別擔心，我會一步步教你操作。

1. 打開命令行

• 同樣，按 Win + R，輸入 cmd，然后回車。

2. 下載模型

以下是不同版本模型的下載命令，你可以根據(jù)自己的需求選擇合適的版本：

• 1.5B Qwen DeepSeek R1

ollama run deepseek-r1:1.5b

• 7B Qwen DeepSeek R1

ollama run deepseek-r1:7b

• 8B Llama DeepSeek R1

ollama run deepseek-r1:8b

• 14B Qwen DeepSeek R1

ollama run deepseek-r1:14b

• 32B Qwen DeepSeek R1

ollama run deepseek-r1:32b

• 70B Llama DeepSeek R1

ollama run deepseek-r1:70b

3. 測試下載

• 為了測試效果，建議先下載一個較小的模型，比如 1.5B 或 7B(我選擇的7B測試 1.5不行)。
• 下載過程中如果網速過慢，可以按 CTRL + C 中斷，然后重新運行命令。

4. 等待下載完成

• 下載完成后，模型會自動安裝到本地。
• 安裝完成后，你可以通過命令行直接提問，測試模型的效果！

四、測試模型效果

下載完成后，我們來測試一下模型是否正常運行。

2. 注意事項

• 如果使用的是較大的模型（比如 32B 或 70B），可能會占用大量的 GPU 和 CPU 資源，建議根據(jù)電腦配置選擇合適的模型。

五、安裝客戶端工具（AnythingLLM）

雖然命令行可以用來提問，但操作起來并不方便。為了更好的使用體驗，我們可以安裝一個客戶端工具 AnythingLLM。

1. 下載 AnythingLLM

• 官網地址：Download AnythingLLM for Desktop
• 下載完成后，雙擊安裝包進行安裝。

Download AnythingLLM for Desktop

2. 配置 Ollama 模型

• 打開 AnythingLLM，進入設置頁面。
• 選擇本地 Ollama 模型方式，軟件會自動識別你之前下載的 DeepSeek 模型。

安裝完成之后打開軟件 找到設置 選擇本地Ollama模型方式

他會自動識別本地Ollama下載的大模型

3. 創(chuàng)建工作區(qū)

• 回到主界面，隨便起一個名字創(chuàng)建工作區(qū)。
• 這樣就可以開始提問啦！界面和互聯(lián)網的聊天軟件差不多，使用體驗非常流暢。

（請合理的選擇大模型的參數(shù)，防止電腦帶不動的情況 出現(xiàn)卡死宕機）

檢測AI回答效果

支持問題詢問 鏈接上傳 圖片上傳 無限次數(shù)上傳文檔 和圖片！

推理性問題

例如：“如果今天是星期一，五天后是星期幾？”這類問題可以測試AI的邏輯推理能力。

DeepSeek回答：

嗯，今天是星期一，那五天后會是星期幾呢？讓我仔細想想。首先，一周有七天，所以從星期一開始數(shù)起：星期一、星期二、星期三、星期四、星期五、星期六、星期日?，F(xiàn)在，如果今天是星期一，那么過一天就是星期二，再過一天就是星期三，依此類推。
 
那問題來了，我要計算的是五天后是星期幾。首先，我需要明確“今天”指的是哪一天。假設今天是星期一，那么接下來的每一天分別是：
 
星期二（明天）
星期三（后天）
星期四
星期五
星期六
所以，從星期一開始數(shù)五天，第五天就是星期六。因此，五天后的那一天應該是星期六。
 
不過，為了確保我沒有搞錯，我可以使用另一種方法來驗證。比如，可以用模運算來計算：用當前的星期幾加上要過去的天數(shù)，然后對7取余數(shù)。例如：
 
今天是星期一（1），五天后就是1 + 5 = 6。因為一周有七天，所以6 mod 7 = 6，對應的是星期六。
 
這樣看來，無論是通過直接數(shù)數(shù)還是使用模運算的方法，得出的結果都是星期六。
 
 
如果今天是星期一，那么五天后是星期六。

解釋性問題

• 例如：“請解釋一下相對論的基本概念。”這類問題可以評估AI的解釋能力和深度。

DeepSeek回答：

好的，現(xiàn)在我要回答用戶的問題，用戶之前問了一個關于星期幾的問題，并得到了正確的答案。接下來，用戶又發(fā)來一個請求，要求我解釋性地回答問題，舉個例子來說“請解釋一下相對論的基本概念?！?。
 
首先，我需要理解用戶當前的需求是什么?？雌饋碛脩魧ο鄬φ撨@個概念不太熟悉，想要一個簡明扼要的解釋，可能用于學習或興趣了解。用戶希望得到一個清晰、直觀的例子來幫助理解相對論。
 
接下來，我要回憶相對論的相關知識。相對論主要包括狹義相對論和廣義相對論。狹義相對論由愛因斯坦在1905年提出，主要討論了慣性參考系中的現(xiàn)象，特別是光速不變原理和時間膨脹效應。而廣義相對論則是關于引力的理論，它指出引力是時空曲率的表現(xiàn)。
 
為了使解釋更易懂，我可以選擇一個具體的例子來說明相對論的基本概念。例如，時間膨脹是一個重要的狹義相對論現(xiàn)象，可以舉一個火車與閃電同時到達兩個點的故事。通過這個故事，可以形象地展示在高速運動的參考系中，同一事件的時間測量會發(fā)生差異。
 
此外，我還需要確保語言簡潔明了，避免使用過于專業(yè)的術語或復雜的數(shù)學公式。這樣可以讓不同背景的用戶都能理解。
 
最后，總結一下，我的回答應該包括相對論的兩個主要部分，并通過一個具體的例子來解釋時間膨脹這一概念，以幫助用戶更好地理解相對論的基本思想。
 
 
當然可以！相對論是愛因斯坦提出的一套描述宇宙運動和引力的理論。它主要包括狹義相對論和廣義相對論兩部分。
 
舉個例子：假設有一列火車以接近光速的速度運行，當火車上的乘客看到閃電同時擊中火車頭和尾部時，地面上的人可能會覺得這兩件事并不同時發(fā)生（因為火車在移動）。這是因為相對于火車來說，光是同步傳播的，但相對于地面，由于火車速度極快，時間會有一點差異。這種現(xiàn)象說明時間和空間并不是絕對的，而是相對的，具體取決于觀察者的運動狀態(tài)。
 
這樣的例子可以幫助理解相對論中的一些基本概念，如時間膨脹、長度收縮和相對性原理等。

等等 具體的使用看你自己

這樣你就成功的把DeepSeek部署到本地電腦啦

六、上傳本地知識庫

如果你有自己的文檔或者資料，可以將它們上傳到模型中，方便模型回答與你的資料相關的問題。

1. 上傳文檔

• 在客戶端中找到“知識庫”功能。
• 點擊上傳，將本地的文檔（如 PDF、Word）上傳到知識庫中。

然后上傳本地的文檔

2. 保存知識庫

• 上傳完成后，記得點擊保存。
• 這樣模型就可以根據(jù)你的知識庫內容進行回答了！

七、總結與建議

到這里，你已經成功完成了 DeepSeek 模型的本地部署！以下是一些小建議：

• 合理選擇模型參數(shù)：如果你的電腦配置一般，建議使用較小的模型（比如 7B 或 8B），避免出現(xiàn)卡死或宕機的情況。
• 定期清理緩存：大模型會占用較多的存儲空間，建議定期清理不需要的模型文件。
• 多測試多嘗試：通過不斷測試不同類型的問題，熟悉模型的能力和限制。

以上就是本地部署DeepSeek-R大模型的詳細教程的詳細內容，更多關于本地部署DeepSeek-R的資料請關注腳本之家其它相關文章！

最新評論