1.fielddata 是什么

fielddata 是 Elasticsearch 中一種數(shù)據(jù)結(jié)構(gòu)，用于在內(nèi)存中緩存字段數(shù)據(jù)，主要服務(wù)于以下場(chǎng)景：

• 聚合操作（Aggregations）
• 排序（Sorting）
• 腳本計(jì)算（Scripting）
• 某些類型的查詢（如 field 字段上的 term 查詢）

當(dāng)需要對(duì) text 字段或其他非 doc_values 支持的字段執(zhí)行上述操作時(shí)，Elasticsearch 需要將這些字段的值加載到內(nèi)存中，這就是 fielddata 的作用。

2.fielddata 的工作原理

• 按需加載：當(dāng)?shù)谝淮涡枰獙?duì)某個(gè)字段執(zhí)行聚合 / 排序等操作時(shí)，Elasticsearch 會(huì)從磁盤讀取該字段的所有值并構(gòu)建內(nèi)存中的數(shù)據(jù)結(jié)構(gòu)。
• 存儲(chǔ)在 JVM 堆內(nèi)存：fielddata 會(huì)占用 JVM 堆內(nèi)存空間。
• 字段級(jí)啟用：默認(rèn)情況下，text 字段禁用 fielddata，keyword 字段使用 doc_values 而非 fielddata。

3.主要用法

3.1 啟用 fielddata（通常在 text 字段上）

PUT my_index/_mapping
{
  "properties": {
    "my_text_field": { 
      "type":     "text",
      "fielddata": true
    }
  }
}

3.2 監(jiān)控 fielddata 使用情況

GET _nodes/stats/indices/fielddata?fields=*

3.3 清除 fielddata 緩存

POST my_index/_cache/clear?fielddata=true

4.使用場(chǎng)景示例

示例 1：對(duì) text 字段進(jìn)行聚合

GET my_index/_search
{
  "size": 0,
  "aggs": {
    "my_terms": {
      "terms": {
        "field": "my_text_field"  // 需要該字段啟用 fielddata
      }
    }
  }
}

示例 2：對(duì) text 字段進(jìn)行排序

GET my_index/_search
{
  "sort": [
    {
      "my_text_field": {
        "order": "asc"
      }
    }
  ]
}

5.fielddata 與 doc_values 的區(qū)別

6.注意事項(xiàng)

• 內(nèi)存消耗：fielddata 會(huì)顯著增加內(nèi)存使用，特別是高基數(shù)（大量唯一值）字段。
• 性能影響：首次加載 fielddata 可能導(dǎo)致查詢延遲。
• 替代方案：對(duì)于 keyword / numeric / date 等字段，優(yōu)先使用 doc_values。
• 熔斷機(jī)制：Elasticsearch 有 fielddata 熔斷器防止內(nèi)存耗盡。

7.最佳實(shí)踐

• 盡量避免在 text 字段上啟用 fielddata。
• 如需對(duì)文本進(jìn)行聚合/排序，考慮使用多字段（multi-field）映射：

"my_field": {
  "type": "text",
  "fields": {
    "keyword": {
      "type": "keyword"
    }
  }
}

然后對(duì) my_field.keyword 進(jìn)行操作。

監(jiān)控 fielddata 內(nèi)存使用，設(shè)置合理的熔斷閾值。

到此這篇關(guān)于Elasticsearch 映射 fielddata 工作原理解析的文章就介紹到這了,更多相關(guān)Elasticsearch 映射 fielddata 內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評(píng)論