快捷導(dǎo)航

SpringBoot整合Elasticsearch游標(biāo)查詢的示例代碼（scroll）

更新時間：2020年10月16日 16:48:28 作者：李鋒鏑的園子

這篇文章主要介紹了SpringBoot整合Elasticsearch游標(biāo)查詢（scroll）,本文給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下

游標(biāo)查詢（scroll）簡介

scroll 查詢可以用來對 Elasticsearch 有效地執(zhí)行大批量的文檔查詢，而又不用付出深度分頁那種代價。

游標(biāo)查詢會取某個時間點(diǎn)的快照數(shù)據(jù)。查詢初始化之后索引上的任何變化會被它忽略。它通過保存舊的數(shù)據(jù)文件來實(shí)現(xiàn)這個特性，結(jié)果就像保留初始化時的索引視圖一樣。

啟用游標(biāo)查詢可以通過在查詢的時候設(shè)置參數(shù) scroll 的值為我們期望的游標(biāo)查詢的過期時間。游標(biāo)查詢的過期時間會在每次做查詢的時候刷新，所以這個時間只需要足夠處理當(dāng)前批的結(jié)果就可以了，而不是處理查詢結(jié)果的所有文檔的所需時間。這個過期時間的參數(shù)很重要，因?yàn)楸３诌@個游標(biāo)查詢窗口需要消耗資源，所以我們期望如果不再需要維護(hù)這種資源就該早點(diǎn)兒釋放掉。設(shè)置這個超時能夠讓 Elasticsearch 在稍后空閑的時候自動釋放這部分資源。

GET /old_index/_search?scroll=1m 
{
  "query": { "match_all": {}},
  "sort" : ["_doc"], 
  "size": 1000
}

scroll=1m：保持游標(biāo)查詢窗口一分鐘。

返回結(jié)果示例：

{
  "_scroll_id": "cXVlcnlUaGVuRmV0Y2g7NTsxMDk5NDpkUmpiR2FjOFNhNnlCM1ZDMWpWYnRROzEwOTk1OmRSamJHYWM4U2E2eUIzVkMxalZidFE7MTA5OTM6ZFJqYkdhYzhTYTZ5QjNWQzFqVmJ0UTsxMTE5MDpBVUtwN2lxc1FLZV8yRGVjWlI2QUVBOzEwOTk2OmRSamJHYWM4U2E2eUIzVkMxalZidFE7MDs=",
  "took": 10,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "failed": 0
  },
  "hits": {
    "total": 2633253,
    "max_score": 1.0,
    "hits": [
      {
        "_index": "old_index",
        "_type": "old_index_type",
        "_id": "1",
        "_score": 1.0,
        "_source": {
          ...
        }
      }
    ]
  }
}

這個查詢的返回結(jié)果包括一個字段 _scroll_id，它是一個base64編碼的長字符串。現(xiàn)在我們能傳遞字段 _scroll_id 到 _search/scroll 查詢接口獲取下一批結(jié)果：

GET /_search/scroll
{
  "scroll": "1m", 
  "scroll_id" : "cXVlcnlUaGVuRmV0Y2g7NTsxMDk5NDpkUmpiR2FjOFNhNnlCM1ZDMWpWYnRROzEwOTk1OmRSamJHYWM4U2E2eUIzVkMxalZidFE7MTA5OTM6ZFJqYkdhYzhTYTZ5QjNWQzFqVmJ0UTsxMTE5MDpBVUtwN2lxc1FLZV8yRGVjWlI2QUVBOzEwOTk2OmRSamJHYWM4U2E2eUIzVkMxalZidFE7MDs="
}

注意：需要再次設(shè)置游標(biāo)查詢過期時間為一分鐘。

這個游標(biāo)查詢返回下一批結(jié)果。

另外盡管我們指定字段 size 的值為1000，但是我們有可能取到超過這個值數(shù)量的文檔。當(dāng)查詢的時候，字段 size 作用于單個分片，所以每個批次實(shí)際返回的文檔數(shù)量最大為 size * number_of_primary_shards。

注意：游標(biāo)查詢每次返回一個新字段 _scroll_id。每次我們做下一次游標(biāo)查詢，我們必須把前一次查詢返回的字段_scroll_id 傳遞進(jìn)去。當(dāng)沒有更多的結(jié)果返回的時候，我們就處理完所有匹配的文檔了。

整合

新增以下三個方法：

/**
 * 游標(biāo)查詢
 * @param params 查詢?nèi)雲(yún)?
 * @param indexName 索引名稱
 * @param type 索引類型
 * @param defaultSort 默認(rèn)排序
 * @param keyMappings 字段映射
 * @param keyMappingsMap 索引對應(yīng)字段映射
 * @param scrollTimeInMillis 游標(biāo)開啟的時間
 * @return Page
 */
protected Page<Map> commonStartScroll(Map<String, String> params, String indexName, String type, String defaultSort,
                 Map<Key, FieldDefinition> keyMappings,
                 Map<String, Map<Key, FieldDefinition>> keyMappingsMap, long scrollTimeInMillis) {
  SearchQuery searchQuery = buildSearchQuery(params, indexName, type, defaultSort, keyMappings, keyMappingsMap);
  return elasticsearchTemplate.startScroll(scrollTimeInMillis, searchQuery, Map.class);
}

/**
 * 游標(biāo)查詢
 * @param scrollId 游標(biāo)ID
 * @param scrollTimeInMillis 游標(biāo)開啟的時間
 * @return Page
 */
protected Page<Map> commonContinueScroll(String scrollId, long scrollTimeInMillis) {
  return elasticsearchTemplate.continueScroll(scrollId, scrollTimeInMillis, Map.class);
}

/**
 * 根據(jù)游標(biāo)ID清除游標(biāo)（提早釋放資源，降低ES的負(fù)擔(dān)）
 * @param scrollId 游標(biāo)ID
 */
protected void clearScroll(String scrollId) {
  elasticsearchTemplate.clearScroll(scrollId);
}

StoreSearchService中增加游標(biāo)查詢方法以及清除游標(biāo)方法：

/**
 * 游標(biāo)查詢
 * @param params 查詢條件
 * @return page
 */
public Page<Map> scroll(Map<String, String> params) {
  IndexConfig config = indexEntity.getConfigByDocCode(DOC_CODE);

  // 如果請求參數(shù)包含游標(biāo)ID，則說明執(zhí)行翻頁操作，否則認(rèn)為開啟新的游標(biāo)查詢
  String scrollId = params.getOrDefault(SCROLL_ID, null);
  if (StringUtils.isNotBlank(scrollId)) {
    return commonContinueScroll(params.get(scrollId), config.getScrollTimeInMillis());
  }
  return commonStartScroll(params, config.getIndexName(), config.getType(), DEFAULT_SORT,
      keyMappings, keyMappingsMap, config.getScrollTimeInMillis());
}
public void clearScroll(String scrollId) {
  super.clearScroll(scrollId);
}

對外暴露接口：

@PostMapping("/scroll")
public ResponseResult scroll(@RequestBody Map<String, String> params) {

  return ResponseResult.success(storeSearchService.scroll(params));
}

@GetMapping("/scroll/clear/{scrollId}")
public ResponseResult clearScroll(@PathVariable String scrollId) {
  storeSearchService.clearScroll(scrollId);
  return ResponseResult.success(null);
}

游標(biāo)查詢分為開啟和繼續(xù)兩個步驟，接口/scroll中根據(jù)_scrollId判斷為開啟游標(biāo)查詢還是繼續(xù)游標(biāo)查詢。

若條件允許的話，盡量將游標(biāo)查詢及時關(guān)閉，以釋放ES集群的資源，降低負(fù)擔(dān)。

源碼

Git項(xiàng)目地址：https://github.com/lifengdi/search

原文鏈接：https://www.lifengdi.com/archives/article/2119

到此這篇關(guān)于SpringBoot整合Elasticsearch游標(biāo)查詢（scroll）的文章就介紹到這了,更多相關(guān)SpringBoot整合Elasticsearch內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: