一、Bedrock Connector 簡(jiǎn)單含義

• AWS 場(chǎng)景（AI / 大模型調(diào)用）
• 在 Amazon Bedrock 服務(wù)里，Bedrock Connector 指的是“連接器”組件——一段預(yù)先封裝好的配置模板，用來(lái)把外部應(yīng)用（如 OpenSearch、UiPath、Camunda、自研系統(tǒng)）安全地連到 Bedrock 的 LLM API，實(shí)現(xiàn)簽名鑒權(quán)、請(qǐng)求轉(zhuǎn)發(fā)、結(jié)果回傳等功能。
• • 典型形態(tài)：一個(gè) JSON/YAML 描述文件，內(nèi)部寫好 AWS SigV4 簽名、目標(biāo) endpoint、模型 ID（如 Claude 3 Sonnet）、超時(shí)重試策略等。
• • 用例：在 OpenSearch 里注冊(cè) Bedrock Connector 后，即可用自然語(yǔ)言對(duì)日志做根因分析；在 UiPath 里拖一個(gè)“Bedrock 活動(dòng)”就能讓機(jī)器人調(diào)用大模型生成文本或總結(jié)工單
• 在 Claude 3 發(fā)布之后，其強(qiáng)大的多模態(tài)推理、視覺(jué)能力、翻譯、總結(jié)、寫作、編碼等能力，再次激發(fā)生成式 AI 的熱潮。Amazon Bedrock 也是首個(gè) Claude 3 全托管且正式可用的服務(wù)。
• 伴隨越來(lái)越多的業(yè)務(wù)場(chǎng)景落地，我們也收集了很多針對(duì) Bedrock Claude 3 的需求和反饋。
• 我們開(kāi)發(fā)了 Bedrock Connector 并開(kāi)源，供大家測(cè)試使用，和代碼參考。
• Bedrock Connector 主要解決以下幾個(gè)需求：
• 多租戶管理，通過(guò) API_KEY & Host 方式使用 Claude
• 針對(duì)多租戶的計(jì)費(fèi)，和費(fèi)用限額，預(yù)充值管理
• 兼容更多的客戶端工具的訪問(wèn)方式，如以下常見(jiàn)客戶端
  • ChatHub
  • AIChatOne
  • OpenAI Translator
  • siders

二、快速部署

1. 準(zhǔn)備一臺(tái)服務(wù)器來(lái)托管連接器

在 AWS 或任何其他支持 docker 的服務(wù)器上啟動(dòng) EC2。

yum install -y yum-utils device-mapper-persistent-data lvm2
sudo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
cat /etc/os-release
ls -la /etc/yum.repos.d/
sudo yum update -y
sudo yum install -y docker
sudo systemctl daemon-reload
sudo systemctl restart docker
docker ps

2. 使用 docker 運(yùn)行 Postgres

使用以下 shell 命令啟動(dòng)一個(gè) docker 容器來(lái)托管 postgres。請(qǐng)使用您自己的密碼重新連接

然后創(chuàng)建一個(gè)使用以下命令命名的數(shù)據(jù)庫(kù)。brconnector_db，然后，在 postgres 的 SQL 命令行中，運(yùn)行以下命令創(chuàng)建數(shù)據(jù)庫(kù) 數(shù)據(jù)庫(kù)名稱不一定是，您可以使用所需的任何有效數(shù)據(jù)庫(kù)名稱。brconnector_db

如果您使用自己的數(shù)據(jù)庫(kù)名稱，請(qǐng)確保記住數(shù)據(jù)庫(kù)名稱并替換為您的數(shù)據(jù)庫(kù)名稱。brconnector_db

docker run --name postgres   -e POSTGRES_PASSWORD=yy123456   -p 5432:5432   -d postgres
docker ps
docker exec -it postgres psql -U postgres
CREATE DATABASE brconnector_db;
docker inspect postgres | grep IPAddress
記住這個(gè)ip地址，后續(xù)會(huì)使用到

3. 使用 docker 啟動(dòng)連接器服務(wù)

直接運(yùn)行以下 docker 命令以啟動(dòng)連接器容器。

確保將訪問(wèn)密鑰、密鑰、區(qū)域的值替換為正確的值。

而且，重要的！將 ADMIN_API_KEY 的值替換為復(fù)雜鍵，而不是在示例中使用簡(jiǎn)單鍵。

docker run --name brconnector  --restart always --pull always  -p 8866:8866  -e AWS_ACCESS_KEY_ID=****  -e AWS_SECRET_ACCESS_KEY=*****  -e AWS_DEFAULT_REGION=us-east-1  -e PGSQL_HOST=172.17.0.3  -e PGSQL_DATABASE=brconnector_db  -e PGSQL_USER=postgres  -e PGSQL_PASSWORD=yy123456  -e ADMIN_API_KEY=******  -d cloudbeer/sample-connector-for-bedrock

AKSK要從aws的服務(wù)先開(kāi)啟對(duì)某個(gè)模型的訪問(wèn)權(quán)限，其次這個(gè)用戶或者角色要有訪問(wèn)這個(gè)服務(wù)的權(quán)限（AKSK），獲取到就填寫到上面的相應(yīng)位置，pg數(shù)據(jù)庫(kù)的地址也使用上面查出來(lái)的ip地址，數(shù)據(jù)庫(kù)的名稱也是之前創(chuàng)建的，adminapikey是自定義的

當(dāng)容器不健康時(shí)候執(zhí)行如下：

# 進(jìn)入容器
docker exec -it brconnector bash
# 安裝curl
apt-get update && apt-get install -y curl

4. 測(cè)試連接器服務(wù)

現(xiàn)在，您擁有第一個(gè)API_KEY為“br_xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx”的管理員用戶。

并將服務(wù)器導(dǎo)出端口 8866 到托管 EC2。

使用 using 命令A(yù)PI_Key測(cè)試服務(wù)器：curl

curl "http://localhost:8866/admin/api-key/list"   -H "Authorization: Bearer br_yyuequiwehqkh"
#之前自定義的adminapikey

順利的話：{"success":true,"data":{"items":[],"total":"0","limit":20,"offset":0}}

5. 創(chuàng)建第一個(gè)管理員用戶

curl -X POST "http://localhost:8866/admin/api-key/apply"      -H "Content-Type: application/json"      -H "Authorization: Bearer br_yyuequiwehqkh"      -d '{"name": "adminuser","group_id": 1,"role": "admin","email": "", "month_quota":"20"}'
# br_yyuequiwehqkh 最開(kāi)始自定義的key

您將得到如下回復(fù)：這時(shí)候會(huì)給你返回一個(gè)真正的api_key

{"success":true,"data":{"id":1,"name":"adminuser","email":"","api_key":"br-someotherkeyvaluexxxxx","role":"admin","month_quota":"20.0000000000","balance":"0.0000000000"}}

為新用戶錄制新api_key，
此api_key可用于配置您的客戶端進(jìn)行聊天。
并且這個(gè)api_key可用于登錄連接器的管理器WebUI來(lái)管理其他api_key。

6. 配置客戶端以連接到連接器服務(wù)器

您現(xiàn)在可以通過(guò) http://your-endpoint/manager 訪問(wèn) BRConnector WebUI。

http://35.87.250.63:8866/manager

使用剛剛生成的 API 密鑰登錄并對(duì)其進(jìn)行管理。輸入 http://your-endpoint 作為管理者。

內(nèi)置客戶端訪問(wèn)地址為：http(s)://your-endpoint/brclient/

http://35.87.250.63:8866/brclient/

點(diǎn)擊設(shè)置配置你的地址以及apikey就可以訪問(wèn)到模型了

也可以是postman調(diào)用試下：

這樣部署就完成了，openai就直接能夠通過(guò)apikey去調(diào)用對(duì)應(yīng)的模型接口。

到此這篇關(guān)于docker 部署B(yǎng)edrock Connector的文章就介紹到這了,更多相關(guān)docker Bedrock Connector內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評(píng)論