使用 OpenAI 的 Embeddings 接口是有費(fèi)用的，如果想對(duì)大量文檔進(jìn)行測(cè)試，使用本地部署的 Embeddings 就能省去大量的費(fèi)用，所以我們嘗試使用本地的 Ollama Embeddings。

首先本地安裝 Ollama: https://ollama.com/download

即使你電腦沒(méi)有性能很強(qiáng)的顯卡，僅僅依靠 CPU 也能運(yùn)行一些參數(shù)量較小的模型。ollama 中下載量最多的是 llama2 模型，但是這個(gè)模型對(duì)中文支持不太好，我們可以試試 Google 開(kāi)源的 gemma 模型：

https://ollama.com/library/gemma

這個(gè)模型包含幾個(gè)不同的版本，默認(rèn)為 7b 的版本，可以先試試 7b，如果速度太慢可以換 2b 試試，執(zhí)行命令 ollama run gemma 時(shí)會(huì)下載模型并運(yùn)行，模型默認(rèn)會(huì)下載到用戶目錄中的 .ollama 中，如果用戶目錄（一般在C盤(pán)）所在盤(pán)空間少，可以提前通過(guò)環(huán)境變量方式修改位置，參考下面的配置（改成自己的路徑）：

OLLAMA_MODELS=D:\.ollama

如果不會(huì)在 Windows 創(chuàng)建 .前綴的目錄，也可以用正常目錄，也可以打開(kāi) git bash，使用命令 mkdir .ollama 創(chuàng)建

配置環(huán)境變量后一定打開(kāi)一個(gè)新的 CMD 或者 Terminal，然后執(zhí)行 ollama rum gemma 下載并啟動(dòng)模型（已經(jīng)下載到用戶目錄的模型可以整體移動(dòng)到新的目錄）。啟動(dòng)后可以在控制臺(tái)進(jìn)行對(duì)話，如下所示：

>ollama run gemma
>>> 你好
你好！我很好，謝謝您的問(wèn)候。
您想讓我做什么呢？我能夠幫助您嗎？

接下來(lái)在 Spring AI 中使用該模型，首先引入Maven依賴(lài)：

<dependency>
	<groupId>org.springframework.ai</groupId>
	<artifactId>spring-ai-ollama-spring-boot-starter</artifactId>
</dependency>

通過(guò)下面示例代碼運(yùn)行：

var ollamaApi = new OllamaApi();
var chatClient = new OllamaChatClient(ollamaApi).withModel("gemma")
		.withDefaultOptions(OllamaOptions.create()
				.withModel("gemma")
				.withTemperature(0.9f));
Scanner scanner = new Scanner(System.in);
while (true) {
	System.out.print(">>> ");
	String message = scanner.nextLine();
	if (message.equals("exit")) {
		break;
	}
	String resp = chatClient.call(message);
	System.out.println("<<< " + resp);
}

接口使用很簡(jiǎn)單，下面再看如何使用 Ollama 的 Embeddings。

var ollamaApi = new OllamaApi();
//指定使用的模型
var embeddingClient = new OllamaEmbeddingClient(ollamaApi)
		.withDefaultOptions(OllamaOptions.create().withModel("gemma"));
//測(cè)試數(shù)據(jù)
VectorStore vectorStore = new SimpleVectorStore(embeddingClient);
vectorStore.add(List.of(
		new Document("白日依山盡，黃河入海流。欲窮千里目，更上一層樓。"),
		new Document("青山依舊在，幾度夕陽(yáng)紅。白發(fā)漁樵江渚上，慣看秋月春風(fēng)。"),
		new Document("一片孤城萬(wàn)仞山，羌笛何須怨楊柳。春風(fēng)不度玉門(mén)關(guān)。"),
		new Document("危樓高百尺，手可摘星辰。不敢高聲語(yǔ)，恐驚天上人。")
));
Scanner scanner = new Scanner(System.in);
while (true) {
	System.out.print("請(qǐng)輸入關(guān)鍵詞: ");
	String message = scanner.nextLine();
	if (message.equals("exit")) {
		break;
	}
	List<Document> documents = vectorStore.similaritySearch(message);
	System.out.println("查詢(xún)結(jié)果: ");
	for (Document doc : documents) {
		System.out.println(doc.getContent());
	}
}

在我本地運(yùn)行時(shí)（靠CPU），解析文檔耗時(shí)如下：

10:33:10.423 - Calling EmbeddingClient for document id = 44d0114f-62ae-4d05-9e6d-457f157386ce
10:33:16.201 - Calling EmbeddingClient for document id = ac65024a-26a9-4827-af4c-af48a3321a4b
10:33:22.176 - Calling EmbeddingClient for document id = 53747918-8e8e-42e1-b4e6-3792c24b6881
10:33:26.125 - Calling EmbeddingClient for document id = 63123b8d-b475-48b4-b38e-71dbf1b49250

每一條文本耗時(shí)在6秒左右。解析完成后輸入提示詞進(jìn)行驗(yàn)證：

請(qǐng)輸入關(guān)鍵詞: 春風(fēng)
查詢(xún)結(jié)果: 
青山依舊在，幾度夕陽(yáng)紅。白發(fā)漁樵江渚上，慣看秋月春風(fēng)。
一片孤城萬(wàn)仞山，羌笛何須怨楊柳。春風(fēng)不度玉門(mén)關(guān)。
白日依山盡，黃河入海流。欲窮千里目，更上一層樓。
危樓高百尺，手可摘星辰。不敢高聲語(yǔ)，恐驚天上人。

請(qǐng)輸入關(guān)鍵詞: 黃河
查詢(xún)結(jié)果: 
青山依舊在，幾度夕陽(yáng)紅。白發(fā)漁樵江渚上，慣看秋月春風(fēng)。
一片孤城萬(wàn)仞山，羌笛何須怨楊柳。春風(fēng)不度玉門(mén)關(guān)。
白日依山盡，黃河入海流。欲窮千里目，更上一層樓。
危樓高百尺，手可摘星辰。不敢高聲語(yǔ)，恐驚天上人。

春風(fēng)的結(jié)果還可以，但是黃河的結(jié)果就不對(duì)了。

如何使用其他模型進(jìn)行 Embedding 呢？

只要啟動(dòng)了任何一個(gè)模型，我們通過(guò)修改上面的 withModel("gemma") 中的參數(shù)即可使用其他模型，如果本地下載過(guò) llama2 模型，就可以直接改這里的參數(shù)，不需要重新執(zhí)行 ollama run llama2 命令，這個(gè)命令影響 chat 功能的使用，不影響 embedding。如果指定的模型不存在，會(huì)提示如下信息：

[404] Not Found - {"error":"model 'llama2' not found, try pulling it first"}

可以通過(guò) ollama pull llama2 進(jìn)行下載。

我們還可以搜專(zhuān)門(mén)的 embedding 模型，搜索時(shí)注意下圖搜索的位置：

頂部可以搜索全局的模型，不限于官方 library 下面的模型，搜索 embedding 結(jié)果如下：

我們可以試試 mofanke/dmeta-embedding-zh 這個(gè)模型，還有一個(gè) mofanke/acge_text_embedding 是我聯(lián)系作者后，作者新提供的模型，后面文章也會(huì)以這個(gè)為例介紹如何將 huggingface 上的模型轉(zhuǎn)換為 ollama 的模型來(lái)使用。

使用命令 ollama pull mofanke/dmeta-embedding-zh 下載模型，這個(gè)模型不能通過(guò) ollama run xxx 啟動(dòng)，需要通過(guò)其他模型啟動(dòng)后來(lái)引用，還使用前面的 ollama run gemma，下載完模型后修改 withModel("mofanke/dmeta-embedding-zh")，然后進(jìn)行測(cè)試即可。

Ollama 的存在使得 Java 調(diào)用各種開(kāi)源大模型變得更統(tǒng)一更簡(jiǎn)單，就好比大部分商業(yè)大模型都參考 OpenAI 的 API，方便我們調(diào)用一樣。通過(guò) Ollama 的擴(kuò)展方式，還可以方便我們導(dǎo)入官方倉(cāng)庫(kù)不存在的其他模型，后續(xù)文章會(huì)以 acge_text_embedding 為例介紹如何自定義基于 PyTorch 的模型。

到此這篇關(guān)于Spring AI 使用本地 Ollama Embeddings的文章就介紹到這了,更多相關(guān)Spring AI Ollama Embeddings內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評(píng)論