docker配置pytorch環(huán)境來進(jìn)行訓(xùn)練的方法步驟
一、虛擬環(huán)境anaconda的下載與安裝（換源）
進(jìn)入到虛擬環(huán)境
docker exec -it ID
新建一個(gè)文件夾保存下載的文件
mkdir download
通過使用wget來下載anacodna安裝包，建議使用清華鏡像下載
官網(wǎng)下載：
wget https://repo.anaconda.com/archive/Anaconda3-2023.07-2-Linux-x86_64.sh
鏡像下載：
wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-2023.07-1-Linux-x86_64.sh
本地宿主機(jī)復(fù)制到容器中（修改路徑即可）
docker cp /path/to/local/file container_id:/path/in/container/
安裝應(yīng)用
bash Anaconda3-2023.07-1-Linux-x86_64.sh
按照流程進(jìn)行安裝
確認(rèn)協(xié)議和默認(rèn)安裝路徑即可
二、給系統(tǒng)的pip和conda換源
安裝新系統(tǒng)的第一件事情就是換源，加快下載速度
1.pip換源
docker中安裝pip
apt-get update apt-get install -y python3-pip
驗(yàn)證安裝的結(jié)果
pip3 --version
/root/目錄下創(chuàng)建 .pip 文件夾與 pip.conf 文件
mkdir .pip vim .pip/pip.conf
## 添加如下內(nèi)容，設(shè)置pip源為阿里云源 [global] index-url = https://mirrors.aliyun.com/pypi/simple/ [install] trusted-host=mirrors.aliyun.com ## :wq!保存退出即可
2.conda換源（不建議阿里源）
命令行換源：
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2 conda config --add https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud conda config --add https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud conda config --add https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud conda config --add https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud conda config --add https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud conda config --add https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud conda config --add https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud conda config --add https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/ conda config --set show_channel_urls yes
修改文件方式： .condarc
channels: - defaults show_channel_urls: true default_channels: - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2 custom_channels: conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud pytorch-lts: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud deepmodeling: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/ auto_activate_base: false
三、安裝pytorch
進(jìn)入pytorch的官方網(wǎng)站
找到對應(yīng)的版本進(jìn)行安裝
https://pytorch.org/get-started/previous-versions/
訓(xùn)練過程中遇到的問題
1、虛擬共享內(nèi)存不夠
報(bào)錯(cuò)：ERROR: Unexpected bus error encountered in worker. This might be caused by insufficient shared memor
通過df -h查看shm的大小
可見容器默認(rèn)的shared memory只有64MB。但訓(xùn)練程序中，data_loader設(shè)置的workers數(shù)目比較多，該程序中為8，這些workers通過共享內(nèi)存進(jìn)行協(xié)作，導(dǎo)致默認(rèn)的共享內(nèi)存不夠用。
解決方法：
基于以上原因，解決方法可從兩個(gè)方面入手：
將workers數(shù)量降低，例如設(shè)置num_workers=0；
將容器的共享內(nèi)存加大，由上面英文提示，可通過–ipc=host或–shm-size進(jìn)行設(shè)置。
這里，我選擇的是第二種方式，加大容器的共享內(nèi)存：
docker run ... --shm-size 8G ...
2、數(shù)據(jù)集的加載路徑
建議使用絕對的路徑，相對路徑在容器中可能會(huì)報(bào)錯(cuò)
3、報(bào)錯(cuò)內(nèi)容：ImportError: libGL.so.1: cannot open shared object file: No such file or directory。
這通常是因?yàn)槟愕南到y(tǒng)缺少該庫，它是 OpenGL 的一部分，許多圖形相關(guān)的應(yīng)用程序和庫都需要它。
解決方法，安裝相應(yīng)的庫文件
apt-get update && apt-get install libgl1
4、報(bào)錯(cuò)內(nèi)容：ImportError: libgthread-2.0.so.0: cannot open shared object file: No such file or directory
解決方法：
sudo apt-get install libglib2.0-0
到此這篇關(guān)于docker配置pytorch環(huán)境來進(jìn)行訓(xùn)練的方法步驟的文章就介紹到這了,更多相關(guān)docker配置pytorch內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
dockerfile結(jié)合go應(yīng)用程序的簡單應(yīng)用代碼示例
Dockerfile文件是一個(gè)包含了指令和參數(shù)的文本文件,用于自動(dòng)化構(gòu)建Docker鏡像,這篇文章主要給大家介紹了關(guān)于dockerfile結(jié)合go應(yīng)用程序的簡單應(yīng)用,文中通過代碼介紹的非常詳細(xì),需要的朋友可以參考下2024-03-03
Docker學(xué)習(xí)筆記之Docker部署Java web系統(tǒng)
這篇文章主要介紹了Docker學(xué)習(xí)筆記之Docker部署Java web系統(tǒng)，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2017-02-02
進(jìn)入docker容器后如果退出容器，容器就會(huì)變成Exited的狀態(tài)，那么如何退出容器讓容器不關(guān)閉呢？現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2019-01-01
Docker Volumn容器間共享數(shù)據(jù)的實(shí)現(xiàn)
這篇文章主要介紹了Docker Volumn容器間共享數(shù)據(jù)的實(shí)現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-01-01
Ubuntu16.04Docker的CS模式詳細(xì)介紹
這篇文章主要介紹了Ubuntu16.04Docker的CS模式詳細(xì)介紹的相關(guān)資料,這里對Docker CS模式圖文詳細(xì)介紹，需要的朋友可以參考下2016-12-12
Docker容器化部署嘗試——多容器通信(node+mongoDB+nginx)
這篇文章主要介紹了Docker容器化部署嘗試——多容器通信(node+mongoDB+nginx)，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2018-12-12
這篇文章主要介紹了Docker啟動(dòng)為Exited狀態(tài)的操作，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧2021-03-03
本文介紹了Dockerfile的定義、構(gòu)建過程以及Dockerfile的常見指令和體系結(jié)構(gòu),通過案例展示了如何創(chuàng)建自定義鏡像并運(yùn)行容器2025-12-12
在服務(wù)器中使用 docker 時(shí),如果不對 docker 的可調(diào)用內(nèi)存進(jìn)行限制,當(dāng) docker 內(nèi)的程序出現(xiàn)不可預(yù)測的問題時(shí),就很有可能因?yàn)閮?nèi)存爆炸導(dǎo)致服務(wù)器主機(jī)的癱瘓,本文將介紹使用 docker 進(jìn)行容器內(nèi)存限制的方法,感興趣的朋友一起看看吧2023-11-11
超詳細(xì)Docker Desktop下安裝rocketmq的教程
這篇文章主要介紹了Docker Desktop下安裝rocketmq,本文內(nèi)容通過圖文操作命令給大家講解的非常詳細(xì)，需要的朋友可以參考下2021-10-10