快捷導(dǎo)航

AnythingLLM的Docker使用方式

更新時(shí)間：2025年02月18日 08:44:22 作者：myepicure888

文章介紹了如何使用AnythingLLM的Docker鏡像,并提供了一些生成和自定義Docker鏡像的詳細(xì)步驟,包括下載代碼、構(gòu)建鏡像和啟動(dòng)容器

AnythingLLM的Docker使用

AnythingLLM是使用大語(yǔ)言模型LLM的一站式簡(jiǎn)便框架。

官網(wǎng)的介紹如下：

AnythingLLM is the easiest to use, all-in-one AI application that can do RAG, AI Agents, and much more with no code or infrastructure headaches.

1. 使用官方docker

最方便的方法是使用 docker.

1.1 拉取鏡像

docker pull mintplexlabs/anythingllm

1.2 創(chuàng)建db目錄和配置文件

Linux：

export STORAGE_LOCATION=/var/lib/anythingllm && \
mkdir -p $STORAGE_LOCATION && \
touch "$STORAGE_LOCATION/.env"

Windows：

$env:STORAGE_LOCATION="$HOME\Documents\anythingllm"; `
If(!(Test-Path $env:STORAGE_LOCATION)) {New-Item $env:STORAGE_LOCATION -ItemType Directory}; `
If(!(Test-Path "$env:STORAGE_LOCATION\.env")) {New-Item "$env:STORAGE_LOCATION\.env" -ItemType File};

1.3 運(yùn)行docker

docker run -d \
 --name anythingllm \
 --add-host=host.docker.internal:host-gateway \
 --env STORAGE_DIR=/app/server/storage \
 --health-cmd "/bin/bash /usr/local/bin/docker-healthcheck.sh || exit 1" \
 --health-interval 60s \
 --health-start-period 60s \
 --health-timeout 10s \
 -p 3001:3001/tcp \
 --restart=always \
 --user anythingllm \
 -v ${STORAGE_LOCATION}:/app/server/storage \
 -v ${STORAGE_LOCATION}/.env:/app/server/.env \
 -w /app \
 mintplexlabs/anythingllm

--add-host 配置是為了訪問(wèn)同臺(tái)機(jī)器上的ollama服務(wù)。

1.4 訪問(wèn) http://localhost:3001 進(jìn)行初始配置，最好配置團(tuán)隊(duì)，可以進(jìn)行權(quán)限控制

可以配置大語(yǔ)言模型LLM、向量模型、向量數(shù)據(jù)庫(kù)等等。
完成后查看 .env 文件，如下（因人而異）：

SERVER_PORT=3001
JWT_SECRET="my-random-string-for-seeding" # Please generate random string at least 12 chars long.
STORAGE_DIR="/var/lib/anything"
OPEN_AI_KEY=""

LLM_PROVIDER='ollama'
OLLAMA_BASE_PATH='http://localhost:11434'
OLLAMA_MODEL_PREF='llama3-64k:latest'
OLLAMA_MODEL_TOKEN_LIMIT='4096'

EMBEDDING_ENGINE='native'
VECTOR_DB='lancedb'

1.5 訪問(wèn)api

http://localhost:3001/api/docs/可以查看已有的API接口。
在設(shè)置里生成APIKEY，客戶端編程通過(guò)這個(gè)Key來(lái)訪問(wèn)接口。

1.6 一個(gè)好用的小工具get_command_4_run_container

查看運(yùn)行容器的啟動(dòng)命令參數(shù)

docker pull cucker/get_command_4_run_container

docker run --rm -v /var/run/docker.sock:/var/run/docker.sock cucker/get_command_4_run_container [容器名稱]/[容器ID]

2. 生成自己的docker鏡像

如果想要有更多的自主和控制，比如加一些api接口。

2.1 下載代碼

git clone https://github.com/Mintplex-Labs/anything-llm.git

2.2 Windows下生成鏡像

進(jìn)入代碼目錄anything-llm, 執(zhí)行命令

docker build -f ./docker/Dockerfile -t anythingllm:my_1.0 .

如果中間超時(shí)報(bào)錯(cuò)了可以多跑幾次，因?yàn)闀?huì)訪問(wèn)github下載一些依賴的東西，而我們?cè)L問(wèn)github是不穩(wěn)定的，如果你有代理服務(wù)就最好了。

2.3 Ubuntu下生成鏡像

這里遇到不少問(wèn)題，開(kāi)始不管是用docker build還是docker-compose build都報(bào)錯(cuò)。
后來(lái)研究./docker/Dockerfile 文件才發(fā)現(xiàn)，它是支持多平臺(tái)編譯的。
為什么在Windows下沒(méi)有問(wèn)題呢，原因是我Windows下用的是Docker Desktop，而它自帶buildx工具，會(huì)自動(dòng)識(shí)別當(dāng)前系統(tǒng)平臺(tái)。

2.3.1 安裝工具buildx

下載：

export BUILDX_VERSION=$(curl -s https://api.github.com/repos/docker/buildx/releases/latest | grep -oP '"tag_name": "\K(.*)(?=")')
curl -LO https://github.com/docker/buildx/releases/download/${BUILDX_VERSION}/buildx-${BUILDX_VERSION}.linux-amd64

安裝：

mkdir -p ~/.docker/cli-plugins
mv buildx-${BUILDX_VERSION}.linux-amd64 ~/.docker/cli-plugins/docker-buildx
chmod +x ~/.docker/cli-plugins/docker-buildx

查看版本號(hào)：

docker buildx version

使用，這個(gè)工具也是個(gè)docker：

docker buildx create --use
docker buildx inspect --bootstrap

2.3.2 生成鏡像，使用buildx指定platform

docker buildx build --platform linux/amd64 --build-arg ARG_UID=1000 --build-arg ARG_GID=1000 -f ./docker/Dockerfile  -t anythingllm:my_1.0 --load --output type=docker .

2.3.3 啟動(dòng)命令和上面的類似

a. 創(chuàng)建本地store目錄

mkdir /var/lib/anythingllm-my

b. 創(chuàng)建db和env配置文件

cd /var/lib/anythingllm-my
mkdir logs
touch anythingllm.db
touch .env
chown 1000:1000 /var/lib/anythingllm-my/ -R

這里要注意的是一定要給目錄/var/lib/anythingllm-my修改owner（最后一條命令），不然docker啟動(dòng)會(huì)失敗，報(bào)寫readonly db的錯(cuò)誤。

c. 啟動(dòng)docker，不建議用docker-compose，

export STORAGE_LOCATION=/var/lib/anythingllm-my &&
docker run -d \
 --name anythingllm-my \
 --add-host=host.docker.internal:host-gateway \
 --env STORAGE_DIR=/app/server/storage \
 -p 3001:3001/tcp \
 --restart=always \
 --user anythingllm \
 -v ${STORAGE_LOCATION}:/app/server/storage \
 -v ${STORAGE_LOCATION}/.env:/app/server/.env \
 -v ${STORAGE_LOCATION}/logs:/app/server/logs/ \
 -w /app \
 anythingllm:my_1.0

修改了文件./docker/docker-entrypoint.sh如下，增加了輸出服務(wù)端log：

#!/bin/bash
{
  cd /app/server/ &&
    npx prisma generate --schema=./prisma/schema.prisma &&
    npx prisma migrate deploy --schema=./prisma/schema.prisma &&
    node /app/server/index.js &> /app/server/logs/server.log
} &
{ node /app/collector/index.js; } &
wait -n
exit $?

有了自己的鏡像，后面你可以自主修改代碼了??！