與 Ollama 模型交互是使用大語言模型（LLM）進行對話、生成文本或執(zhí)行任務(wù)的核心功能。Ollama 提供兩種主要交互方式：通過命令行界面（CLI）的交互式終端和通過 REST API 的程序化調(diào)用。以下是詳細(xì)說明，包括操作步驟、示例和注意事項。

1. 交互方式

方式 1：CLI 交互式終端

描述：通過 ollama run 命令啟動模型，進入交互式終端，直接輸入提示（prompt）與模型對話。

適用場景：快速測試、調(diào)試模型、個人使用。

步驟：

確保已拉取模型（參考 ollama pull <model>）。

運行命令：

ollama run <model-name>

示例：

ollama run llama3

進入交互模式，輸入提示后按回車，模型會實時響應(yīng)。

退出：輸入 /exit 或按 Ctrl+D。

示例對話：

>>> What's the capital of France?
The capital of France is Paris.
>>> Write a haiku about the moon.
Lunar whispers sing,
In night's embrace, shadows dance,
Soft dreams take wing.

高級用法：

多輪對話：連續(xù)輸入，模型會記住上下文（有限窗口，約 8k token）。

系統(tǒng)提示：在 Modelfile 中設(shè)置角色（如 SYSTEM "You are a pirate"），影響模型語氣。

快捷命令：/help 查看可用命令，如 /multiline 啟用多行輸入。

方式 2：API 交互

Ollama啟動后，默認(rèn)會在本地 http://localhost:11434 地址上提供一個RESTful API，讓你可以通過HTTP請求來調(diào)用模型。這對于將AI能力集成到你的應(yīng)用中至關(guān)重要。

核心API端點：

生成補全 (/api/generate)：用于一次性的文本生成任務(wù)。

多輪聊天 (/api/chat)：用于構(gòu)建需要記憶上下文的對話應(yīng)用。

常用編程語言調(diào)用示例：

Python：使用 requests 庫調(diào)用生成接口。

import requests
import json
response = requests.post("http://localhost:11434/api/generate",
    json={
        "model": "llama3.2",
        "prompt": "天空為什么是藍色的？",
        "stream": False # 設(shè)置為True可啟用流式輸出
    })
print(json.loads(response.text)["response"])

JavaScript：使用官方的 ollama npm 包，可以讓交互更簡潔。

import ollama from 'ollama'
const response = await ollama.chat({
    model: 'llama3.1',
    messages: [{ role: 'user', content: '天空為什么是藍色的？' }],
})
console.log(response.message.content)

流式輸出也是支持的，只需將 stream 參數(shù)設(shè)為 true，即可實現(xiàn)打字機效果。

補充

描述：通過 HTTP API 調(diào)用模型，適合集成到應(yīng)用程序、腳本或 Web 項目。

適用場景：自動化任務(wù)、開發(fā) AI 應(yīng)用、批量處理。

前提：啟動 Ollama 服務(wù)器：

ollama serve

默認(rèn)監(jiān)聽 http://localhost:11434。

主要 API 端點：生成文本：/api/generate（單次生成，非對話）。

curl http://localhost:11434/api/generate -d '{
  "model": "llama3",
  "prompt": "Write a short story about a robot."
}'

響應(yīng)（JSON，流式輸出）：

{"response": "In a quiet factory, a robot named Elara..."}

對話模式：/api/chat（支持多輪對話，類似 ChatGPT）。

curl http://localhost:11434/api/chat -d '{
  "model": "llama3",
  "messages": [
    {"role": "user", "content": "Tell me a joke."}
  ]
}'

響應(yīng)：

{"message": {"role": "assistant", "content": "Why did the robot go to therapy? It had an identity crisis!"}}

嵌入生成：/api/embeddings（將文本轉(zhuǎn)為向量，適用于搜索或分類）。

curl http://localhost:11434/api/embeddings -d '{
  "model": "llama3",
  "prompt": "Hello, world!"
}'

編程示例（Python）：

import requests

# 單次生成
response = requests.post('http://localhost:11434/api/generate', json={
    "model": "llama3",
    "prompt": "Explain quantum physics briefly."
}, stream=True)
for line in response.iter_lines():
    if line:
        print(line.decode('utf-8'))

# 對話模式
response = requests.post('http://localhost:11434/api/chat', json={
    "model": "llama3",
    "messages": [{"role": "user", "content": "What's 2+2?"}]
})
print(response.json()['message']['content'])

方式三：使用圖形化界面

如果你不習(xí)慣命令行，Ollama社區(qū)提供了許多優(yōu)秀的圖形化界面。你可以把它們看作是為Ollama量身定制的“聊天客戶端”。例如，通過Python安裝 ollama-chat：

pip install ollama-chat
ollama-chat

運行后，它會在瀏覽器中打開一個類似ChatGPT的界面。這些UI工具通常提供更豐富的功能，如：

• 管理多輪對話：像專業(yè)應(yīng)用一樣創(chuàng)建、保存和管理不同的聊天。
• 模型管理：在界面內(nèi)直接瀏覽、下載和切換不同的模型。
• 高級功能：一些工具還支持上傳文件、圖片作為提示詞，或使用預(yù)設(shè)的對話模板。

2. 交互中的關(guān)鍵參數(shù)

控制模型行為的參數(shù)（CLI 或 API 中設(shè)置）：

temperature（0-1）：控制輸出隨機性。低值（0.2）更確定，高值（0.8）更創(chuàng)意。

API 示例：{"temperature": 0.7}

top_p（0-1）：核采樣，限制輸出概率分布。默認(rèn) 0.9。

num_predict：最大生成 token 數(shù)。默認(rèn) 128，設(shè)為 -1 表示無限制。

stop：停止詞，指定生成終止條件。

示例：{"stop": ["\n"]} 停止于換行。

CLI 設(shè)置：通過 Modelfile 或 ollama run llama3 --temperature 0.5。

3. 多模態(tài)交互

支持模型：如 llava 或 bakllava，支持圖像輸入。

示例（API）：

curl http://localhost:11434/api/generate -d '{
  "model": "llava",
  "prompt": "Describe this image",
  "images": ["base64_encoded_image_string"]
}'

注意：CLI 暫不支持圖像輸入，需通過 API。

4. 常見場景與示例

對話：

ollama run mistral
>>> Tell me a story about a dragon.
Once, a dragon named Ember guarded a mountain of gold...

代碼生成：

curl http://localhost:11434/api/generate -d '{
  "model": "codellama",
  "prompt": "Write a Python function to sort a list."
}'

翻譯：

ollama run llama3
>>> Translate "Hello, world!" to Spanish.
?Hola, mundo!

嵌入生成：用于搜索或語義分析：

response = requests.post('http://localhost:11434/api/embeddings', json={
    "model": "llama3",
    "prompt": "Artificial intelligence"
})
embedding = response.json()['embedding']

5. 注意事項

上下文限制：模型有 token 限制（通常 8k-32k），長對話可能截斷上下文。

性能優(yōu)化

小模型（如 phi3）適合低配設(shè)備。

啟用 GPU（需要 CUDA/Metal 支持）加速推理。

運行 ollama ps 檢查內(nèi)存占用，關(guān)閉不必要的模型。

錯誤排查

模型未響應(yīng)：檢查 ollama serve 是否運行，或端口是否被占用。

輸出不理想：調(diào)整 temperature 或重寫提示。

內(nèi)存不足：選擇量化模型（如 llama3:8b-q4_0）。

安全性：API 默認(rèn)監(jiān)聽本地，若公開訪問，需設(shè)置 OLLAMA_HOST 并加防火墻。

6. 進階技巧

自定義提示：通過 Modelfile 設(shè)置系統(tǒng)提示，塑造模型角色（如 “幽默助手”）。

FROM llama3
SYSTEM You are a witty comedian.

流式輸出：API 默認(rèn)支持流式響應(yīng)，適合實時應(yīng)用。

批量處理：編寫腳本循環(huán)調(diào)用 API，處理大量輸入。

集成框架：Ollama 的 OpenAI 兼容 API 可與 LangChain、LlamaIndex 配合。

最新評論