SpringBoot集成Redis向量數(shù)據(jù)庫實現(xiàn)相似性搜索功能

更新時間：2024年09月25日 08:31:07 作者：HBLOG

Redis?是一個開源（BSD?許可）的內(nèi)存數(shù)據(jù)結(jié)構(gòu)存儲,用作數(shù)據(jù)庫、緩存、消息代理和流式處理引擎,向量檢索的核心原理是通過將文本或數(shù)據(jù)表示為高維向量,并在查詢時根據(jù)向量的相似度進行搜索,本文給大家介紹了SpringBoot集成Redis向量數(shù)據(jù)庫實現(xiàn)相似性搜索功能

1.什么是Redis向量數(shù)據(jù)庫？

Redis 是一個開源（BSD 許可）的內(nèi)存數(shù)據(jù)結(jié)構(gòu)存儲，用作數(shù)據(jù)庫、緩存、消息代理和流式處理引擎。Redis 提供數(shù)據(jù)結(jié)構(gòu)，例如字符串、哈希、列表、集合、帶范圍查詢的有序集合、位圖、超對數(shù)日志、地理空間索引和流。

Redis 搜索和查詢擴展了 Redis OSS 的核心功能，并允許您將 Redis 用作向量數(shù)據(jù)庫

在哈?；?JSON 文檔中存儲向量和關聯(lián)的元數(shù)據(jù)
檢索向量
執(zhí)行向量搜索

2.向量檢索（Vector Search）的核心原理

向量檢索（Vector Search）的核心原理是通過將文本或數(shù)據(jù)表示為高維向量，并在查詢時根據(jù)向量的相似度進行搜索。在你的代碼中，向量檢索過程涉及以下幾步：

匹配的原理：

檢索的核心是將文本或數(shù)據(jù)轉(zhuǎn)換成向量，在高維向量空間中查找與查詢最相似的向量。
在存儲數(shù)據(jù)時將指定的字段通過嵌入模型生成了向量。
在檢索時，查詢文本被向量化，然后與 Redis 中存儲的向量進行相似度比較，找到相似度最高的向量（即相關的文檔）。

關鍵點：

嵌入模型 將文本轉(zhuǎn)換成向量。
相似度計算 通過余弦相似度或歐幾里得距離來度量相似性。
Top K 返回相似度最高的 K 個文檔。

具體過程

1. 向量化數(shù)據(jù)：

當你將 JSON 中的字段存入 Redis 時，向量化工具（例如 vectorStore）會將指定的字段轉(zhuǎn)換為高維向量。每個字段的內(nèi)容會通過某種嵌入模型（如 Word2Vec、BERT、OpenAI Embeddings 等）轉(zhuǎn)換成向量表示。每個向量表示的是該字段內(nèi)容的語義特征。

2. 搜索時的向量生成：

當執(zhí)行 SearchRequest.query(message) 時，系統(tǒng)會將輸入的 message 轉(zhuǎn)換為一個查詢向量。這一步是通過同樣的嵌入模型，將查詢文本轉(zhuǎn)換為與存儲在 Redis 中相同維度的向量。

3. 相似度匹配：

vectorStore.similaritySearch(request) 函數(shù)使用了一個向量相似度計算方法來查找最相似的向量。這通常是通過 余弦相似度 或 歐幾里得距離 來度量查詢向量和存儲向量之間的距離。然后返回與查詢最相似的前 K 個文檔，即 withTopK(topK) 所指定的 K 個最相關的結(jié)果。

4. 返回匹配的文檔：

匹配的結(jié)果是根據(jù)相似度得分排序的 List<Document>。這些文檔是你最初存儲在 Redis 中的記錄，包含了 JSON 中指定的字段。

3.環(huán)境搭建

version: '3'
services:
  redis-stack:
    image: redis/redis-stack
    ports:
      - 6379:6379

  redis-insight:
    image: redislabs/redisinsight:latest
    ports:
      - 5540:5540

Run following command:

docker-compose up -d

訪問 http://localhost:5540

4.代碼工程

實驗目標

實現(xiàn)文件數(shù)據(jù)向量化到redis，并進行相似性搜索

pom.xml

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>3.2.1</version>
        <relativePath /> <!-- lookup parent from repository -->
    </parent>
    <modelVersion>4.0.0</modelVersion>

    <artifactId>RedisVectorStore</artifactId>

    <properties>
        <maven.compiler.source>17</maven.compiler.source>
        <maven.compiler.target>17</maven.compiler.target>
        <spring-ai.version>0.8.1</spring-ai.version>
    </properties>
    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-autoconfigure</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>org.springframework.ai</groupId>
            <artifactId>spring-ai-transformers-spring-boot-starter</artifactId>
            <version>${spring-ai.version}</version>
        </dependency>
        <dependency>
            <groupId>org.springframework.ai</groupId>
            <artifactId>spring-ai-redis-spring-boot-starter</artifactId>
            <version>${spring-ai.version}</version>
        </dependency>
        <dependency>
            <groupId>redis.clients</groupId>
            <artifactId>jedis</artifactId>
            <version>5.1.0</version>
        </dependency>
    </dependencies>
    <repositories>
        <repository>
            <id>spring-milestones</id>
            <name>Spring Milestones</name>
            <url>https://repo.spring.io/milestone</url>
            <snapshots>
                <enabled>false</enabled>
            </snapshots>
        </repository>
        <repository>
            <id>spring-snapshots</id>
            <name>Spring Snapshots</name>
            <url>https://repo.spring.io/snapshot</url>
            <releases>
                <enabled>false</enabled>
            </releases>
        </repository>
    </repositories>
    <pluginRepositories>
        <pluginRepository>
            <id>spring-milestones</id>
            <name>Spring Milestones</name>
            <url>https://repo.spring.io/milestone</url>
            <snapshots>
                <enabled>false</enabled>
            </snapshots>
        </pluginRepository>
        <pluginRepository>
            <id>spring-snapshots</id>
            <name>Spring Snapshots</name>
            <url>https://repo.spring.io/snapshot</url>
            <releases>
                <enabled>false</enabled>
            </releases>
        </pluginRepository>
    </pluginRepositories>
</project>

controller

package com.et.controller;

import com.et.service.SearchService;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
import com.et.service.SearchService;
import java.util.HashMap;
import java.util.Map;

@RestController
public class HelloWorldController {
    @Autowired
    SearchService searchService;
    @RequestMapping("/hello")
    public Map<String, Object> showHelloWorld(){
        Map<String, Object> map = new HashMap<>();
        map.put("msg", searchService.retrieve("beer"));
        return map;
    }
}

configuration

加載文件數(shù)據(jù)到并將數(shù)據(jù)向量化到redis

JsonReader loader = new JsonReader(file, KEYS);

JsonReader 和 VectorStore 實現(xiàn)是將 KEYS 中指定的多個字段拼接在一起，生成一個統(tǒng)一的文本表示，然后通過嵌入模型將這些字段的組合文本轉(zhuǎn)換為一個單一的向量，那么這里就是將多個字段組合成 一個綜合向量。并將其處理后存入 Redis。

package com.et.config;

import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.ai.autoconfigure.vectorstore.redis.RedisVectorStoreProperties;
import org.springframework.ai.reader.JsonReader;
import org.springframework.ai.vectorstore.RedisVectorStore;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.boot.ApplicationArguments;
import org.springframework.boot.ApplicationRunner;
import org.springframework.core.io.InputStreamResource;
import org.springframework.core.io.Resource;
import org.springframework.stereotype.Component;

import java.util.Map;
import java.util.zip.GZIPInputStream;

@Component
public class DataLoader implements ApplicationRunner {

   private static final Logger logger = LoggerFactory.getLogger(DataLoader.class);

   private static final String[] KEYS = { "name", "abv", "ibu", "description" };

   @Value("classpath:/data/beers.json.gz")
   private Resource data;

   private final RedisVectorStore vectorStore;

   private final RedisVectorStoreProperties properties;

   public DataLoader(RedisVectorStore vectorStore, RedisVectorStoreProperties properties) {
      this.vectorStore = vectorStore;
      this.properties = properties;
   }

   @Override
   public void run(ApplicationArguments args) throws Exception {
      Map<String, Object> indexInfo = vectorStore.getJedis().ftInfo(properties.getIndex());
      Long sss= (Long) indexInfo.getOrDefault("num_docs", "0");
      int numDocs=sss.intValue();
      if (numDocs > 20000) {
         logger.info("Embeddings already loaded. Skipping");
         return;
      }
      Resource file = data;
      if (data.getFilename().endsWith(".gz")) {
         GZIPInputStream inputStream = new GZIPInputStream(data.getInputStream());
         file = new InputStreamResource(inputStream, "beers.json.gz");
      }
      logger.info("Creating Embeddings...");
      // tag::loader[]
      // Create a JSON reader with fields relevant to our use case
      JsonReader loader = new JsonReader(file, KEYS);
      // Use the autowired VectorStore to insert the documents into Redis
      vectorStore.add(loader.get());
      // end::loader[]
      logger.info("Embeddings created.");
   }

}

配置redis vectorStore

package com.et.config;

import org.springframework.ai.autoconfigure.vectorstore.redis.RedisVectorStoreProperties;
import org.springframework.ai.chat.ChatClient;
import org.springframework.ai.document.MetadataMode;
import org.springframework.ai.transformers.TransformersEmbeddingClient;
import org.springframework.ai.vectorstore.RedisVectorStore;
import org.springframework.ai.vectorstore.RedisVectorStore.RedisVectorStoreConfig;
import org.springframework.ai.vectorstore.VectorStore;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

@Configuration
public class RedisConfiguration {

    @Bean
    TransformersEmbeddingClient transformersEmbeddingClient() {
        return new TransformersEmbeddingClient(MetadataMode.EMBED);
    }

    @Bean
    VectorStore vectorStore(TransformersEmbeddingClient embeddingClient, RedisVectorStoreProperties properties) {
        var config = RedisVectorStoreConfig.builder().withURI(properties.getUri()).withIndexName(properties.getIndex())
                .withPrefix(properties.getPrefix()).build();
        RedisVectorStore vectorStore = new RedisVectorStore(config, embeddingClient);
        vectorStore.afterPropertiesSet();
        return vectorStore;
    }


}

service

查詢時，查詢文本也會生成一個整體向量，與存儲的綜合向量進行匹配。

package com.et.service;


import org.springframework.ai.document.Document;
import org.springframework.ai.vectorstore.SearchRequest;
import org.springframework.ai.vectorstore.VectorStore;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.stereotype.Service;

import java.util.List;

@Service
public class SearchService {


   @Value("${topk:10}")
   private int topK;

   @Autowired
   private  VectorStore vectorStore;



   public List<Document> retrieve(String message) {
      SearchRequest request = SearchRequest.query(message).withTopK(topK);
      // Query Redis for the top K documents most relevant to the input message
      List<Document> docs = vectorStore.similaritySearch(request);

      return docs;
   }

}

只是一些關鍵代碼，所有代碼請參見下面代碼倉庫

代碼倉庫

https://github.com/Harries/springboot-demo(RedisVectorStore)

5.測試

啟動Spring Boot應用程序，查看日志

 . ____ _ __ _ _
 /\\ / ___'_ __ _ _(_)_ __ __ _ \ \ \ \
( ( )\___ | '_ | '_| | '_ \/ _` | \ \ \ \
 \\/ ___)| |_)| | | | | || (_| | ) ) ) )
 ' |____| .__|_| |_|_| |_\__, | / / / /
 =========|_|==============|___/=/_/_/_/
 :: Spring Boot :: (v3.2.1)

2024-09-24T14:03:48.217+08:00 INFO 23996 --- [ main] com.et.DemoApplication : Starting DemoApplication using Java 17.0.9 with PID 23996 (D:\IdeaProjects\ETFramework\RedisVectorStore\target\classes started by Dell in D:\IdeaProjects\ETFramework)
2024-09-24T14:03:48.221+08:00 INFO 23996 --- [ main] com.et.DemoApplication : No active profile set, falling back to 1 default profile: "default"
2024-09-24T14:03:49.186+08:00 INFO 23996 --- [ main] o.s.b.w.embedded.tomcat.TomcatWebServer : Tomcat initialized with port 8088 (http)
2024-09-24T14:03:49.199+08:00 INFO 23996 --- [ main] o.apache.catalina.core.StandardService : Starting service [Tomcat]
2024-09-24T14:03:49.199+08:00 INFO 23996 --- [ main] o.apache.catalina.core.StandardEngine : Starting Servlet engine: [Apache Tomcat/10.1.17]
2024-09-24T14:03:49.289+08:00 INFO 23996 --- [ main] o.a.c.c.C.[Tomcat].[localhost].[/] : Initializing Spring embedded WebApplicationContext
2024-09-24T14:03:49.290+08:00 INFO 23996 --- [ main] w.s.c.ServletWebServerApplicationContext : Root WebApplicationContext: initialization completed in 1033 ms
2024-09-24T14:03:49.406+08:00 WARN 23996 --- [ main] ai.djl.util.cuda.CudaUtils : Failed to detect GPU count: CUDA driver version is insufficient for CUDA runtime version (35)
2024-09-24T14:03:49.407+08:00 WARN 23996 --- [ main] ai.djl.util.cuda.CudaUtils : Failed to detect GPU count: CUDA driver version is insufficient for CUDA runtime version (35)
2024-09-24T14:03:49.408+08:00 INFO 23996 --- [ main] ai.djl.util.Platform : Found matching platform from: jar:file:/D:/jar_repository/ai/djl/huggingface/tokenizers/0.26.0/tokenizers-0.26.0.jar!/native/lib/tokenizers.properties
2024-09-24T14:03:49.867+08:00 INFO 23996 --- [ main] o.s.a.t.TransformersEmbeddingClient : Model input names: input_ids, attention_mask, token_type_ids
2024-09-24T14:03:49.867+08:00 INFO 23996 --- [ main] o.s.a.t.TransformersEmbeddingClient : Model output names: last_hidden_state
2024-09-24T14:03:50.346+08:00 INFO 23996 --- [ main] o.s.b.w.embedded.tomcat.TomcatWebServer : Tomcat started on port 8088 (http) with context path ''
2024-09-24T14:03:50.354+08:00 INFO 23996 --- [ main] com.et.DemoApplication : Started DemoApplication in 2.522 seconds (process running for 2.933)
2024-09-24T14:03:50.364+08:00 INFO 23996 --- [ main] com.et.config.DataLoader : Creating Embeddings...
2024-09-24T14:03:51.493+08:00 WARN 23996 --- [ main] ai.djl.util.cuda.CudaUtils : Failed to detect GPU count: CUDA driver version is insufficient for CUDA runtime version (35)
2024-09-24T14:03:51.800+08:00 INFO 23996 --- [ main] ai.djl.pytorch.engine.PtEngine : PyTorch graph executor optimizer is enabled, this may impact your inference latency and throughput. See: https://docs.djl.ai/docs/development/inference_performance_optimization.html#graph-executor-optimization
2024-09-24T14:03:51.802+08:00 INFO 23996 --- [ main] ai.djl.pytorch.engine.PtEngine : Number of inter-op threads is 6
2024-09-24T14:03:51.802+08:00 INFO 23996 --- [ main] ai.djl.pytorch.engine.PtEngine : Number of intra-op threads is 6
2024-09-24T14:04:26.212+08:00 INFO 23996 --- [nio-8088-exec-1] o.a.c.c.C.[Tomcat].[localhost].[/] : Initializing Spring DispatcherServlet 'dispatcherServlet'
2024-09-24T14:04:26.213+08:00 INFO 23996 --- [nio-8088-exec-1] o.s.web.servlet.DispatcherServlet : Initializing Servlet 'dispatcherServlet'
2024-09-24T14:04:26.215+08:00 INFO 23996 --- [nio-8088-exec-1] o.s.web.servlet.DispatcherServlet : Completed initialization in 2 ms
2024-09-24T14:09:48.846+08:00 INFO 23996 --- [ main] com.et.config.DataLoader : Embeddings created.

查看redis是否存在向量化的數(shù)據(jù)

訪問http://127.0.0.1:8088/hello 進行0 相似度搜索(top 10),返回得分前10的數(shù)據(jù)

以上就是SpringBoot集成Redis向量數(shù)據(jù)庫實現(xiàn)相似性搜索功能的詳細內(nèi)容，更多關于SpringBoot Redis相似性搜索的資料請關注腳本之家其它相關文章！

您可能感興趣的文章:

java使用common-fileupload實現(xiàn)文件上傳
這篇文章主要為大家詳細介紹了java使用common-fileupload實現(xiàn)文件上傳的相關資料,具有一定的參考價值，感興趣的小伙伴們可以參考一下
2016-10-10
Spring Boot中配置定時任務、線程池與多線程池執(zhí)行的方法
這篇文章主要給大家介紹了關于Spring Boot中配置定時任務、線程池與多線程池執(zhí)行的相關資料，文中通過示例代碼介紹的非常詳細，對大家學習或者使用Spring Boot具有一定的參考學習價值，需要的朋友們下面來一起學習學習吧
2019-09-09
Java高級特性
這篇文章主要介紹了Java高級特性,需要的朋友可以參考下
2017-04-04
JAVA模擬多線程給多用戶發(fā)送短信
這篇文章主要介紹了JAVA模擬多線程給多用戶發(fā)送短信,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
2019-12-12
微信開發(fā)之使用java獲取簽名signature
這篇文章主要為大家詳細介紹了微信開發(fā)之使用java獲取簽名signature，感興趣的小伙伴們可以參考一下
2016-08-08
mac安裝配置jdk環(huán)境變量
這篇文章主要為大家介紹了mac安裝配置jdk環(huán)境變量實現(xiàn)過程詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪
2023-07-07
springboot多數(shù)據(jù)源實現(xiàn)方式
本文介紹了多數(shù)據(jù)源配置的重要性以及在SpringBoot中如何配置單個默認數(shù)據(jù)源和多個數(shù)據(jù)源,此外,還討論了如何整合MyBatis、實現(xiàn)動態(tài)數(shù)據(jù)源路由、事務管理以及使用dynamic-datasource-spring-boot-starter框架來簡化多數(shù)據(jù)源管理
2025-01-01
java常用API介紹之包裝類
這篇文章主要介紹了java常用API介紹之包裝類,API，即Application Programming Interface，中文名稱是“應用程序接口"，這些接口就是"jdk所提供"給我們使用的類,需要的朋友可以參考下
2023-04-04
在SpringBoot中定義和讀取自定義配置的方法步驟
在Spring Boot中定義和讀取自定義配置是日常開發(fā)中常見的需求,它允許我們以靈活的方式管理應用的配置信息,無論是通過外部配置文件還是通過環(huán)境變量,本文是一個詳細的步驟說明,包括示例代碼,需要的朋友可以參考下
2024-10-10
Java使用Servlet生成驗證碼圖片
這篇文章主要為大家詳細介紹了Java使用Servlet生成驗證碼圖片，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下
2021-08-08

最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

SpringBoot集成Redis向量數(shù)據(jù)庫實現(xiàn)相似性搜索功能

目錄

1.什么是Redis向量數(shù)據(jù)庫？

2.向量檢索（Vector Search）的核心原理

匹配的原理：

關鍵點：

具體過程

1. 向量化數(shù)據(jù)：

2. 搜索時的向量生成：

3. 相似度匹配：

4. 返回匹配的文檔：

3.環(huán)境搭建

4.代碼工程

實驗目標

pom.xml

controller

configuration

service

代碼倉庫

5.測試

相關文章

最新評論

大家感興趣的內(nèi)容

最近更新的內(nèi)容

常用在線小工具

最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

SpringBoot集成Redis向量數(shù)據(jù)庫實現(xiàn)相似性搜索功能

目錄

1.什么是Redis向量數(shù)據(jù)庫？

2.向量檢索（Vector Search）的核心原理

匹配的原理：

關鍵點：

具體過程

1. 向量化數(shù)據(jù)：

2. 搜索時的向量生成：

3. 相似度匹配：

4. 返回匹配的文檔：

3.環(huán)境搭建

4.代碼工程

實驗目標

pom.xml

controller

configuration

service

代碼倉庫

5.測試

相關文章

最新評論

大家感興趣的內(nèi)容

最近更新的內(nèi)容

常用在線小工具

1.什么是Redis向量數(shù)據(jù)庫？