华泰保险公司官方网站seo诊断优化专家

一、简介

在 Elasticsearch 中，索引（Index）是存储相关文档的地方，类似于关系数据库中的数据库。索引是 Elasticsearch 中最重要的概念之一，用于组织和存储数据。

二、索引的基本概念

• 索引（Index）：
  • 索引是 Elasticsearch 中存储相关文档的地方，类似于关系数据库中的数据库。
  • 每个索引有一个唯一的名称，用于标识和访问该索引。
• 文档（Document）：
  • 文档是索引中的基本数据单元，格式为 JSON。每个文档包含多个字段（Fields），字段可以是各种数据类型，如文本、数字、日期等。
  • 文档是 Elasticsearch 中存储和搜索的基本单位。
• 类型（Type）：
  • 在 Elasticsearch 7.x 之前，索引中可以包含多个类型（Types），类似于关系数据库中的表。但在 7.x 及以后版本中，类型已被弃用，每个索引只能包含一种类型，默认类型为 _doc。
• 分片（Shard）：
  • 索引被分成多个分片，每个分片是一个独立的 Lucene 索引。
  • 分片允许数据分布在集群中的多个节点上，从而实现水平扩展和并行处理。
• 副本（Replica）：
  • 每个分片可以有零个或多个副本，副本是分片的拷贝，用于提供高可用性和负载均衡。
  • 副本分片可以与主分片存储在不同的节点上，以防止数据丢失。

三、索引的组成

在 Elasticsearch 中，创建索引时通常包含以下几个主要部分：

1. 索引名称：唯一标识符。
2. 设置（Settings）：配置分片、副本、分析器等。
3. 映射（Mappings）：定义文档结构和字段类型。
4. 别名（Aliases，可选）：为索引创建虚拟名称。

示例：

PUT /my_index
{"settings": {"number_of_shards": 3,"number_of_replicas": 2,"refresh_interval": "2s","analysis": {"analyzer": {"my_analyzer": {"type": "custom","tokenizer": "standard","filter": ["lowercase", "my_filter"]}},"filter": {"my_filter": {"type": "stop","stopwords": ["and", "the"]}}},"merge": {"policy": {"max_merged_segment": "5gb","segments_per_tier": 10}},"indexing_buffer": "512mb","codec": "best_compression","max_result_window": 20000},"mappings": {"properties": {"title": {"type": "text","analyzer": "my_analyzer"},"date": {"type": "date"},"author": {"type": "keyword"},"content": {"type": "text","analyzer": "my_analyzer"},"views": {"type": "integer"}}},"aliases": {"my_alias": {}}
}

3.1 索引名称

• 索引名称是索引的唯一标识符，用于在集群中识别该索引。
• 索引名称必须是小写字母，不能包含特殊字符（如 , /, *, ?, ", <, >, |, , , # 等）。
• 示例：my_index。

3.2 设置（Settings）

在 Elasticsearch 中，Settings（设置） 是创建索引时用于配置索引行为和属性的部分。Settings 定义了索引的分片、副本、分析器、刷新间隔等核心参数，直接影响索引的性能、可用性和功能。

1. Settings 的作用

   • 分片和副本：定义索引的分片数和副本数，影响数据的分布和高可用性。
   • 分析器：定义文本字段的分词器和过滤器，影响全文搜索的行为。
   • 刷新和合并策略：控制索引的刷新频率和段合并策略，影响写入性能和查询性能。
   • 其他高级配置：如缓存、压缩、路由等。

2. Settings 的核心配置项

   • 分片和副本

     • number_of_shards：
       • 定义索引的主分片数量。
       • 分片是 Elasticsearch 分布式存储的基本单位，每个分片是一个独立的 Lucene 索引。
       • 分片数在索引创建时指定，创建后不可更改。
       • 默认值：5。
       • 示例：

         "number_of_shards": 3
         

     • number_of_replicas：
       • 定义每个主分片的副本数量。
       • 副本用于提供高可用性和负载均衡，副本分片可以与主分片存储在不同的节点上。
       • 副本数可以在索引创建后动态调整。
       • 默认值：1。
       • 示例：

         "number_of_replicas": 2
         

   • 分析器（Analysis）

     • analyzer：
       • 定义自定义分析器，用于在索引和搜索时处理文本字段。
       • 分析器由分词器（Tokenizer）和过滤器（Filter）组成。
       • 示例：

         "analysis": {"analyzer": {"my_analyzer": {"type": "custom","tokenizer": "standard","filter": ["lowercase", "my_filter"]}},"filter": {"my_filter": {"type": "stop","stopwords": ["and", "the"]}}
         }
         

     • tokenizer：
       • 定义分词器，用于将文本拆分为词项（Token）。
       • 常见的分词器：standard、whitespace、keyword 等。
     • filter：
       • 定义过滤器，用于对分词后的词项进行处理。
       • 常见的过滤器：lowercase（转换为小写）、stop（去除停用词）、synonym（同义词）等。

   • 刷新间隔（Refresh Interval）

     • refresh_interval：
       • 定义索引的刷新频率，即新写入的文档在多长时间后可以被搜索到。
       • 刷新间隔越短，搜索的实时性越高，但写入性能可能下降。
       • 默认值：1s（1 秒）。
       • 示例：

       "refresh_interval": "2s"
       

   • 段合并策略（Merge Policy）

     • merge.policy：
       • 定义 Lucene 段的合并策略，影响索引的写入性能和查询性能。
       • 常见的配置项：
         • merge.policy.max_merged_segment：最大合并段大小。
         • merge.policy.segments_per_tier：每层的段数。

       "merge": {"policy": {"max_merged_segment": "5gb","segments_per_tier": 10}
       }
       

   • 写入缓冲区（Indexing Buffer）

     • indexing_buffer：
       • 定义索引写入缓冲区的大小，影响写入性能。
       • 默认值：10% 的 JVM 堆内存。
       • 示例：

       "indexing_buffer": "512mb"
       

   • 压缩（Compression）

     • codec：
       • 定义索引数据的压缩算法。
       • 常见的压缩算法：default（默认）、best_compression（更高压缩率）。
       • 示例：

       "codec": "best_compression"
       

   • 路由（Routing）

     • routing：
       • 定义文档的路由规则，影响文档存储的分片。
       • 示例：

       "routing": {"allocation": {"include": {"region": "us-east"}}
       }
       

   • 其他配置

     • max_result_window：
       • 定义搜索结果的最大返回条数。
       • 默认值：10000。
       • 示例：

       "max_result_window": 20000
       

     • max_refresh_listeners：
       • 定义每个分片的最大刷新监听器数量。
       • 默认值：1000。
       • 示例：

       "max_refresh_listeners": 2000
       

3. Settings 的最佳实践

   • 合理设置分片数：
     • 分片数应根据数据量和集群规模合理设置，避免分片过多或过少。
     • 分片过多会增加集群的开销，分片过少会影响查询性能。
   • 动态调整副本数：
     • 副本数可以根据集群的负载和可用性需求动态调整。
   • 优化分析器：
     • 根据业务需求自定义分析器，提升全文搜索的准确性和性能。
   • 调整刷新间隔：
     • 对于实时性要求高的场景，可以缩短刷新间隔；对于写入性能要求高的场景，可以延长刷新间隔。
   • 监控和调优：
     • 定期监控索引的性能和资源使用情况，根据实际需求调整 Settings 配置。

3.3 映射（Mappings）

在 Elasticsearch 中，Mappings（映射） 是定义索引中文档结构及其字段类型的方式。它类似于关系型数据库中的表结构（Schema），用于指定字段的数据类型、分析器、格式等属性。Mappings 是 Elasticsearch 索引的核心组成部分之一，直接影响数据的存储、索引和搜索行为。

1. Mappings 的作用

   • 定义字段类型：指定每个字段的数据类型（如 text、keyword、date 等）。
   • 控制字段行为：设置字段是否可索引、是否存储、是否支持分词等。
   • 优化搜索性能：通过合理配置字段类型和分析器，提升搜索效率和准确性。
   • 支持复杂数据结构：支持嵌套对象（object）和嵌套类型（nested）等复杂数据结构。

2. Mappings 的组成部分

   • 字段属性（Field Properties）
     • type：字段的数据类型（如 text、keyword 等）。
     • index：是否索引该字段（true 或 false）。
     • analyzer：指定分词器（用于 text 字段）。
     • search_analyzer：指定搜索时的分词器。
     • store：是否单独存储该字段（true 或 false）。
     • format：指定日期格式（用于 date 字段）。
     • fields：多字段（Multi-fields），允许一个字段以多种方式索引。
     • ignore_above：忽略超过指定长度的字符串（用于 keyword 字段）。
     • null_value：为 null 值指定默认值。
   • 字段类型（Field Types）
     • 常见的字段类型：
       • text：全文搜索字段，支持分词。
       • keyword：用于精确匹配的字段，不支持分词。
       • date：用于存储日期和时间。
       • long, integer, short, byte, double, float：用于存储数值。
       • boolean：用于存储布尔值（true 或 false）。
       • binary：用于存储二进制数据。
       • geo_point：用于存储地理坐标（经度和纬度）。
       • geo_shape：用于存储复杂的地理形状。
       • object：用于存储嵌套的 JSON 对象。
       • nested：用于存储数组中的嵌套对象（每个对象独立索引）。

3. 动态映射（Dynamic Mapping）
   Elasticsearch 支持动态映射，即在索引文档时自动推断字段类型。可以通过 dynamic 参数控制动态映射的行为：

   • true：自动添加新字段（默认）。
   • false：忽略新字段。
   • strict：遇到未定义的字段时抛出异常。

   "mappings": {"dynamic": "strict","properties": {"title": { "type": "text" }}
   }
   

4. 多字段（Multi-fields）
   多字段允许一个字段以多种方式索引。例如，一个 text 字段可以同时以 text 和 keyword 类型索引：

   "title": {"type": "text","fields": {"keyword": {"type": "keyword"}}
   }
   这样，title 字段可以用于全文搜索，而 title.keyword 字段可以用于精确匹配。
   

5. 嵌套对象（Nested Object）

   "mappings": {"properties": {"user": {"type": "nested","properties": {"name": { "type": "text" },"age": { "type": "integer" }}}}
   }
   

6. Mappings 的最佳实践

   • 合理选择字段类型：
     • 对于需要全文搜索的字段，使用 text 类型。
     • 对于需要精确匹配的字段，使用 keyword 类型。
     • 对于日期字段，使用 date 类型并指定合适的格式。
   • 使用多字段：
     • 对于需要同时支持全文搜索和精确匹配的字段，使用多字段（Multi-fields）。
   • 控制动态映射：
     • 根据需求设置 dynamic 参数，避免不必要的字段自动创建。
   • 优化嵌套对象：
     • 对于嵌套对象，使用 nested 类型以确保每个对象独立索引。
   • 避免过度索引：
     • 对于不需要搜索的字段，设置 index: false 以减少索引开销。

7. Mappings 的查看和修改

   • 查看 Mappings：

     GET /my_index/_mapping
     

   • 修改 Mappings：
     • 对于已存在的字段，不能直接修改其类型，但可以添加新字段。
     • 如果需要修改字段类型，通常需要重新创建索引并重新索引数据。

3.4 别名（Aliases，可选）

• 别名是一个指向一个或多个索引的虚拟名称，可以用于简化索引管理和查询。
• 别名可以在创建索引时定义，也可以在索引创建后动态添加。
• 示例：

  "aliases": {"my_alias": {}
  }
  

四、索引的创建

• 创建索引
  • 使用 PUT 请求创建索引，并指定设置和映射。
  • 索引创建成功之后，以下属性将不可修改：
    • 索引名称
    • 主分片数量
    • 字段类型

下面是一个完整的 Elasticsearch 索引创建示例，包含设置、映射和别名：

PUT /my_index
{"settings": {"number_of_shards": 3,"number_of_replicas": 2,"analysis": {"analyzer": {"my_analyzer": {"type": "custom","tokenizer": "standard","filter": ["lowercase", "my_filter"]}},"filter": {"my_filter": {"type": "stop","stopwords": ["and", "the"]}}}},"mappings": {"properties": {"title": {"type": "text","analyzer": "my_analyzer"},"date": {"type": "date"},"author": {"type": "keyword","index": true},"content": {"type": "text","analyzer": "my_analyzer"},"views": {"type": "integer"}}},"aliases": {"my_alias": {}}
}

五、索引的操作

• 查看索引：

  • 使用 GET 请求可以查看索引的详细信息，包括设置、映射、分片等。

    GET /my_index
    

• 删除索引：

  • 使用 DELETE 请求可以删除一个索引。

    DELETE /my_index
    

• 更新索引
  在 Elasticsearch 中，索引一旦创建，其核心结构和设置通常是不可变的，但某些部分是可以动态更新的。

  • 索引的设置（Settings）
    • 可更新的内容：
      • 副本数（number_of_replicas）：可以动态调整副本数。
      • 刷新间隔（refresh_interval）：可以动态修改刷新间隔。
      • 分析器（analyzer）：可以为新字段添加分析器，但不能修改现有字段的分析器。
    • 不可更新的内容：
      • 分片数（number_of_shards）：分片数在索引创建后不可更改。
      • 主分片的设置：主分片的设置（如分片大小）不可更改。

    PUT /my_index/_settings
    {"index": {"number_of_replicas": 2,"refresh_interval": "30s"}
    }
    

  • 索引的映射（Mapping）
    • 可更新的内容：
      • 添加新字段：可以向现有映射中添加新字段。
      • 修改字段的多字段（multi-fields）：可以为现有字段添加新的多字段类型。
    • 不可更新的内容：
      • 修改现有字段的类型：例如，不能将 text 类型的字段改为 keyword 类型。
      • 删除字段：不能直接删除字段。

    PUT /my_index/_mapping
    {"properties": {"new_field": {"type": "text"}}
    }
    

  • 别名（Aliases）
    • 索引别名是一个指向一个或多个索引的虚拟名称。创建索引后，可以随时添加、删除或更新别名。
      • 添加别名：为索引添加新的别名。
      • 删除别名：移除索引的别名。
      • 切换别名：将别名指向另一个索引。

    POST /_aliases
    {"actions": [{ "add": { "index": "my_index", "alias": "my_alias" } }]
    }