本地部署 torchchat的詳細過程
更新時間：2024年08月16日 10:43:08 作者：engchina
TorchChat 是一個小型代碼庫,展示了無縫運行大型語言模型 （LLMs） 的能力,使用 torchchat,您可以在自己的 （C/C++） 應用程序（桌面或服務器）以及 iOS 和 Android 上使用 Python 運行LLMs,這篇文章主要介紹了本地部署 torchchat,需要的朋友可以參考下
本地部署 torchchat
0. 引言
TorchChat 是一個小型代碼庫，展示了無縫運行大型語言模型 （LLMs） 的能力。使用 torchchat，您可以在自己的 （C/C++） 應用程序（桌面或服務器）以及 iOS 和 Android 上使用 Python 運行LLMs。
1. 本地部署
1-1. 創(chuàng)建虛擬環(huán)境
conda create -n torchchat python=3.12 -y conda activate torchchat
1-2. 克隆代碼
git clone https://github.com/pytorch/torchchat.git
1-3. 安裝依賴模塊
./install_requirements.sh
(20240816時點)我的wls-ubuntu環(huán)境會報以下錯誤，
+ python scripts/patch_triton.py
/mnt/e/workspace/torchchat/scripts/patch_triton.py:20: SyntaxWarning: invalid escape sequence '\s'
new_match = 'self.src = self.src[re.search(r"^def\s+\w+\s*\(", self.src, re.MULTILINE).start():]'臨時解決方法，
vi /mnt/e/workspace/torchchat/scripts/patch_triton.py
---
# new_match = 'self.src = self.src[re.search(r"^def\s+\w+\s*\(", self.src, re.MULTILINE).start():]'
new_match = r'self.src = self.src[re.search(r"^def\s+\w+\s*\(", self.src, re.MULTILINE).start():]'
---重新運行，
./install_requirements.sh
1-4. 下載模型
登錄 Hugging Face，完成此操作后，torchchat 將能夠從 Hugging Face 下載模型工件。
huggingface-cli login
查看現(xiàn)在支持的模型，
# python3 torchchat.py list Model Aliases Downloaded --------------------------------------- ------------------------------------------- ----------- meta-llama/llama-2-7b-hf llama2-base, llama2-7b meta-llama/llama-2-7b-chat-hf llama2, llama2-chat, llama2-7b-chat meta-llama/llama-2-13b-chat-hf llama2-13b-chat meta-llama/llama-2-70b-chat-hf llama2-70b-chat meta-llama/meta-llama-3-8b llama3-base meta-llama/meta-llama-3-8b-instruct llama3, llama3-chat, llama3-instruct meta-llama/meta-llama-3-70b-instruct llama3-70b meta-llama/meta-llama-3.1-8b llama3.1-base meta-llama/meta-llama-3.1-8b-instruct llama3.1, llama3.1-chat, llama3.1-instruct Yes meta-llama/meta-llama-3.1-70b-instruct llama3.1-70b meta-llama/codellama-7b-python-hf codellama, codellama-7b meta-llama/codellama-34b-python-hf codellama-34b mistralai/mistral-7b-v0.1 mistral-7b-v01-base mistralai/mistral-7b-instruct-v0.1 mistral-7b-v01-instruct mistralai/mistral-7b-instruct-v0.2 mistral, mistral-7b, mistral-7b-instruct openlm-research/open_llama_7b open-llama, open-llama-7b stories15m stories42m stories110m
下載模型，
python torchchat.py download llama3.1
1-5. 運行模型
python3 torchchat.py chat llama3.1
1-6. 使用 UI
此模式允許您使用瀏覽器中的 UI 與模型聊天：運行命令會自動在瀏覽器中打開一個選項卡。
streamlit run torchchat.py -- browser llama3.1
完結！
reference: https://github.com/pytorch/torchchat
到此這篇關于本地部署 torchchat的文章就介紹到這了,更多相關本地部署 torchchat內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
Vscode中l(wèi)aunch.json與tasks.json文件的詳細介紹
在VSCode中,launch.json和tasks.json作為兩個重要的配置文件,能夠幫助開發(fā)者實現(xiàn)調試和任務運行的自動化配置,下面這篇文章主要給大家介紹了關于Vscode中l(wèi)aunch.json與tasks.json文件的相關資料,需要的朋友可以參考下2024-07-07
本文主要介紹軟件測試面試如何測試網頁的登錄頁面,這里整理了相關軟件測試的一些基本知識，希望能幫助軟件測試的同學2016-08-08
這篇文章主要介紹了vscode不能打開終端問題的解決辦法,問題的根源是Windows的安全軟件限制了PowerShell的運行,而VSCode默認使用PowerShell作為終端,文中將解決的辦法介紹的非常詳細,需要的朋友可以參考下2025-05-05
當某個用戶發(fā)出一個邀請后，另一個用戶通過這個鏈接進行網站后，為發(fā)這個鏈接的用戶加10個積分。2011-09-09
listary是?windows?下一款可以快速搜索所有程序、文件，并且可以快速啟動程序和打開相應文件的優(yōu)秀的搜索軟件，絕對比系統(tǒng)自帶搜索速度快很多，而且查詢功能豐富，本文給大家分享Listary?v5.00.2843注冊碼，感興趣的朋友一起看看吧2022-07-07
這篇文章主要為大家介紹了CommonLisp中解析命令行參數(shù)示例，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2022-08-08
這篇文章主要介紹了SSL常用專業(yè)縮略語匯總,需要的朋友可以參考下2017-09-09
利用ChatGPT與MindShow制作一個PPT的方法詳解
PPT制作是商務、教育和各種場合演講的重要組成部分，然而，很多人會花費大量時間和精力在內容生成和視覺設計方面，為了解決這個問題，我們可以利用兩個強大的工具——ChatGPT和MindShow，來提高制作PPT的效率，感興趣的同學可以參考閱讀2023-06-06
如何用Idea或者webstorm跑一個Vue項目(步驟詳解)
這篇文章主要介紹了如何用Idea或者webstorm跑一個Vue項目，本文分步驟給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2021-02-02
OpenManus本地部署實戰(zhàn)親測有效完全免費(最新推薦)
文章介紹了如何在本地部署OpenManus大語言模型,包括環(huán)境搭建、LLM編程接口配置和測試步驟,本文給大家講解的非常詳細,感興趣的朋友一起看看吧2025-03-03