Docker安裝ollama過(guò)程解讀
一：ollama介紹
Ollama官網(wǎng)：https://ollama.com/，官方網(wǎng)站的介紹就一句話：
Get up and running with large language models. （開(kāi)始使用大語(yǔ)言模型。）
Ollama是一個(gè)開(kāi)源的 LLM（大型語(yǔ)言模型）服務(wù)工具，用于簡(jiǎn)化在本地運(yùn)行大語(yǔ)言模型、降低使用大語(yǔ)言模型的門檻，使得大模型的開(kāi)發(fā)者、研究人員和愛(ài)好者能夠在本地環(huán)境快速實(shí)驗(yàn)、管理和部署最新大語(yǔ)言模型，包括如Qwen2、Llama3、Phi3、Gemma2等開(kāi)源的大型語(yǔ)言模型。
因此：Ollama是大語(yǔ)言模型便捷的管理和運(yùn)維工具
二：docker安裝ollama
1.1 拉取鏡像
docker pull ollama/ollama
運(yùn)行容器(CPU)
docker run -d -v D:\ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
說(shuō)明：D:\ollama 掛載自己機(jī)器的目錄
1.2 運(yùn)行容器（GPU）
docker run -d --gpus=all -v D:\ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
1.3 運(yùn)行模型
運(yùn)行模型前首先要到https://ollama.com/library選擇自己要加載的模型(上面有各種模型：llama3.2，llama3.1，gemma2，qwen2.5，等等），我們?cè)谶@選擇11ama3.2
從上圖可以看到下拉里面有幾個(gè)不同數(shù)據(jù)量的版本。選擇好了之后。我們會(huì)看對(duì)應(yīng)右邊文本框里面會(huì)有對(duì)應(yīng)的變化，我們現(xiàn)在選擇1b對(duì)應(yīng)的就是：ollama run llama3.2:1b
下一步：我們就把選擇這個(gè)模型運(yùn)行下。如果沒(méi)有下載他會(huì)自動(dòng)下載的。
docker exec -it ollama ollama run llama3.2:1b
docker exec 命令：
docker exec是用來(lái)在一個(gè)已經(jīng)運(yùn)行的容器內(nèi)執(zhí)行命令的。- 它允許你在容器內(nèi)部啟動(dòng)一個(gè)新的進(jìn)程，通常用于調(diào)試和管理。
it選項(xiàng)：
i（interactive）: 使容器的標(biāo)準(zhǔn)輸入保持打開(kāi)，以便你可以與容器內(nèi)的進(jìn)程進(jìn)行交互。t（tty）: 為容器分配一個(gè)偽終端，這使得你可以以終端模式運(yùn)行命令。
ollama：
- 這是正在運(yùn)行的容器的名稱。
- 剛剛通過(guò)
docker run命令啟動(dòng)了這個(gè)容器，并給它指定了名稱ollama。
ollama run llama3.2:1b：
- 這是在容器內(nèi)執(zhí)行的命令。
- 它調(diào)用了
ollama應(yīng)用程序，并加載llama3.2:1b模型（這個(gè)就是我們?cè)诠倬W(wǎng)上面選擇那個(gè)版本）
運(yùn)行圖片如下：
這樣你就可以用這個(gè)客戶端跟大模型對(duì)話。
最后：當(dāng)然我們需要一下web-ui跟大模型對(duì)話了。下一步講如何安裝Open WebUI
總結(jié)
以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
docker安裝后導(dǎo)致的網(wǎng)絡(luò)問(wèn)題及解決
這篇文章主要介紹了docker安裝后導(dǎo)致的網(wǎng)絡(luò)問(wèn)題及解決方案,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-11-11
mac下docker 安裝 ES的詳細(xì)過(guò)程
這篇文章主要介紹了mac下docker 安裝 ES的詳細(xì)過(guò)程,本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2023-06-06
本篇文章主要介紹了Docker基于已有的鏡像制新的鏡像，小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2017-05-05
使用Vscode結(jié)合docker進(jìn)行開(kāi)發(fā)的詳細(xì)過(guò)程
這篇文章主要介紹了如何使用Vscode結(jié)合docker進(jìn)行開(kāi)發(fā),在本文中，我將提供一個(gè)在 Node 環(huán)境中運(yùn)行的 JavaScript 應(yīng)用程序示例。閱讀在容器內(nèi)開(kāi)發(fā)以獲取所有技術(shù)堆棧的詳細(xì)文檔，需要的朋友可以參考下2021-07-07
使用Docker Compose部快速署ELK(親測(cè)有效)
這篇文章主要介紹了Docker Compose部署ELK的詳細(xì)過(guò)程，本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2021-08-08
Docker安裝RabbitMQ后訪問(wèn)報(bào)錯(cuò)的最佳解決方案
這篇文章主要介紹了Docker安裝RabbitMQ后訪問(wèn)報(bào)錯(cuò)的最佳解決方案,錯(cuò)誤通常是由于RabbitMQ的安全配置導(dǎo)致的,RabbitMQ默認(rèn)配置允許的用戶僅能通過(guò)localhost訪問(wèn),文中通過(guò)圖文講解的非常詳細(xì),需要的朋友可以參考下2025-01-01
容器是基于鏡像創(chuàng)建的，容器中的進(jìn)程依賴于鏡像中的文件，那么本篇文章我們就來(lái)深入學(xué)習(xí)容器的基本操作方法，通過(guò)示例來(lái)加深各位看官對(duì)docker容器操作的理解以及記憶,需要的朋友可以參考下2022-07-07
Docker?Compose?是?Docker?官方編排（Orchestration）項(xiàng)目之一，負(fù)責(zé)快速在集群中部署分布式應(yīng)用，這篇文章主要介紹了Docker之compose介紹,需要的朋友可以參考下2023-02-02
淺談Docker consul的容器服務(wù)更新與發(fā)現(xiàn)
本文主要介紹了淺談Docker consul的容器服務(wù)更新與發(fā)現(xiàn)，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-06-06
docker容器訪問(wèn)宿主機(jī)host設(shè)置的域名方式
文章討論了在Docker容器中訪問(wèn)宿主機(jī)的網(wǎng)絡(luò)設(shè)置,特別是當(dāng)容器內(nèi)的服務(wù)需要請(qǐng)求一個(gè)在宿主機(jī)hosts文件中定義的域名時(shí),通過(guò)使用`--network=host`模式,容器可以直接使用宿主機(jī)的網(wǎng)絡(luò),從而無(wú)需通過(guò)Docker網(wǎng)關(guān),這樣可以避免端口沖突2025-12-12