Ollma本地部署Qwen2.5 14B的詳細(xì)過程(不使用docker)
部署機器硬件情況：內(nèi)存 :32GB顯卡 :3060
為什么不使用docker：1.網(wǎng)上教程大多以docker為主2.安裝docker的時間太長，在等待的時候順便嘗試一下不用docker的部署
1.安裝Ollama
下載地址：https://ollama.com/
下載好之后默認(rèn)安裝即可。
Ollama常用命令
【跟docker差不多，初次安裝的話這邊可以忽略，先看下面的】ollama serve # 啟動ollamaollama create # 從模型文件創(chuàng)建模型ollama show # 顯示模型信息ollama run # 運行模型，會先自動下載模型ollama pull # 從注冊倉庫中拉取模型ollama push # 將模型推送到注冊倉庫ollama list # 列出已下載模型ollama ps # 列出正在運行的模型ollama cp # 復(fù)制模型ollama rm # 刪除模型
2.下載模型
Ollama模型庫類似于Docker托管鏡像的Docker Hub。鏈接：https://ollama.com/library/qwen2.5-coder:14b
復(fù)制這邊的命令來拉取模型并運行。
第一次運行的時候需要下載。
3.啟動
ollama run qwen2.5-coder:14b正常啟動大概15秒左右。下載好之后即可運行。可以正常對其進(jìn)行提問。
輸入/? 查看常用指令
4.Open-webui實現(xiàn)可視化
官方github界面 ：https://github.com/open-webui/open-webui?tab=readme-ov-file官方文檔 ：https://docs.openwebui.com/getting-started/具體參考Quick Start 的內(nèi)容：https://docs.openwebui.com/getting-started/quick-start/
0.安裝anaconda并打開anaconda prompt
打開之后默認(rèn)使用的環(huán)境是base
1.創(chuàng)建一個名為open-webui 的Python3.11的環(huán)境：
conda create -n open-webui python=3.11安裝好之后可以通過conda env list來查看
2.切換并激活到這個環(huán)境
conda activate open-webui
3.安裝open-webui 庫
pip install open-webui花費的時間比較長，10min左右。
4.啟動服務(wù)
open-webui serve初次啟動也需要花費一點時間，啟動成功之后即可看到8080端口。
5.訪問webui界面
在瀏覽器里輸入localhost:8080 即可正常訪問。第一次登錄會要求輸入用戶名、郵箱和密碼，之后每次登錄都會要求輸入郵箱和密碼。
左上角可以切換安裝好的模型。
到此這篇關(guān)于Ollma本地部署Qwen2.5 14B(不使用docker)的文章就介紹到這了,更多相關(guān)Ollma本地部署Qwen內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
docker部署nginx及nginx.conf文件配置方式
這篇文章主要介紹了docker部署nginx及nginx.conf文件配置方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-08-08
本篇文章主要介紹了Docker安裝MySQL8的方法步驟，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2018-06-06
這篇文章主要介紹了使用docker安裝elk,本文通過實例代碼給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下2022-08-08
Dockerfile指令與基本結(jié)構(gòu)的講解
今天小編就為大家分享一篇關(guān)于Dockerfile指令與基本結(jié)構(gòu)的講解，小編覺得內(nèi)容挺不錯的，現(xiàn)在分享給大家，具有很好的參考價值，需要的朋友一起跟隨小編來看看吧2019-03-03
LINUX中Docker?Swarm的介紹和詳細(xì)使用教程
Docker?Swarm是Docker的集群管理工具,將多個節(jié)點統(tǒng)一管理,支持服務(wù)部署、擴縮容與滾動更新,適用于高可用分布式應(yīng)用,本文給大家介紹LINUX中Docker?Swarm的介紹和詳細(xì)使用教程,感興趣的朋友一起看看吧2025-09-09
詳解Docker Swarm服務(wù)發(fā)現(xiàn)和負(fù)載均衡原理
這篇文章主要介紹了詳解Docker Swarm服務(wù)發(fā)現(xiàn)和負(fù)載均衡原理，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2018-05-05
Docker?link實現(xiàn)容器互聯(lián)的方式
通過link方式創(chuàng)建容器，然后我們可以使用被link容器的別名進(jìn)行訪問。本文重點給大家介紹Docker?link實現(xiàn)容器互聯(lián)的方式，感興趣的朋友一起看看吧2021-12-12
本文主要介紹了Docker 容器之間的互相通信實現(xiàn)示例,通過創(chuàng)建自定義網(wǎng)絡(luò),你可以輕松地在 Docker 容器之間建立通信,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2024-01-01
Docker配置MySql環(huán)境的實現(xiàn)步驟
通過使用Docker,開發(fā)人員可以更容易地構(gòu)建、測試和交付應(yīng)用程序,同時減少了環(huán)境配置和依賴項管理的復(fù)雜性，本文主要介紹了Docker配置MySql環(huán)境的實現(xiàn)步驟，文中通過示例代碼介紹的非常詳細(xì)，感興趣的可以了解一下2024-02-02
本篇文章主要介紹了CoreOS配置Docker鏡像加速器的方法，CoreOS下的Docker配置是通過flannel unit來實現(xiàn)的，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2018-05-05