当前位置: 首页 > wzjs >正文

东莞网站建设图表推广平台有哪些渠道

东莞网站建设图表,推广平台有哪些渠道,盘锦门户网站制作,秦皇岛属于河北哪个市Elasticsearch 数据建模:从原理到实战的降维打击指南 🚀 第一章 数据建模的物理法则:倒排索引的奇妙世界 1.1 倒排索引:比字典更聪明的数据结构 当你在ES中存入"Hello World"时,背后发生了这些魔法&#…

Elasticsearch 数据建模:从原理到实战的降维打击指南 🚀

第一章 数据建模的物理法则:倒排索引的奇妙世界

1.1 倒排索引:比字典更聪明的数据结构

当你在ES中存入"Hello World"时,背后发生了这些魔法:

// 原始文档
{"id": 1,"content": "Hello World"
}// 倒排索引生成(简化版)
{"terms": {"hello": [1],"world": [1]},"doc_values": {"1": ["Hello World"]}
}

核心原理

  • 词典(Term Dictionary):存储所有唯一词项,使用FST(有限状态转换器)压缩存储
  • 倒排列表(Postings List):记录每个词项出现的文档ID和位置信息
  • Doc Values:列式存储,为排序和聚合加速

💡 冷知识:ES默认会为每个text字段同时生成正排和倒排索引,这就是为什么即使不指定fielddata=true也能做聚合的原因(但会吃内存!)

1.2 分片(Shard)的量子纠缠现象

一个索引被拆分成多个分片时,数据路由算法:

shard_num = hash(_routing) % num_primary_shards

重要参数

  • index.number_of_shards:主分片数(一旦设置不可修改)
  • index.routing_partition_size:自定义路由分区数
  • _routing字段:自定义路由键(默认使用_id)

分片设计黄金公式

理想分片大小 = (节点内存大小 * 0.5) / 预期分片总数

(每个分片建议控制在10-50GB之间)


第二章 映射设计的核武器库 💣

2.1 字段类型底层揭秘

类型数据结构内存消耗典型场景
text倒排索引 + DocValues全文搜索
keywordDocValues精确匹配/聚合
longBKD Tree最低范围查询
nested独立隐藏文档爆炸高一对多关系
join父子文档链表较高多对多关系

2.2 动态映射的七十二变

ES的类型自动识别规则:

def detect_type(value):if isinstance(value, bool):return "boolean"elif isinstance(value, float):return "float" elif re.match(r'^\d{4}-\d{2}-\d{2}$', value):return "date"# ...其他规则

防御性配置

{"mappings": {"dynamic": "strict", // 禁止未定义字段"properties": {"user": {"type": "object","dynamic": true // 允许子字段动态扩展}}}
}

2.3 分词器的解剖课

一个标准分析器的处理流程:

原始文本 -> 字符过滤器 -> 分词器 -> Token过滤器

自定义分析器示例

"settings": {"analysis": {"analyzer": {"my_analyzer": {"type": "custom","char_filter": ["html_strip"],"tokenizer": "ik_max_word","filter": ["lowercase","synonym_filter"]}},"filter": {"synonym_filter": {"type": "synonym","synonyms_path": "analysis/synonym.txt"}}}
}

第三章 高阶建模:时序数据与关联关系

3.1 时间序列优化六脉神剑

  1. 冷热架构:通过node.attr.box_type: hot标记节点
  2. Rollover API:自动滚动创建新索引
POST /logs-000001/_rollover 
{"conditions": {"max_age": "7d","max_docs": 1000000}
}
  1. Downsampling:使用TSDS(Time Series Data Stream)自动降采样
  2. 索引生命周期管理(ILM):自动化Hot->Warm->Cold->Delete流程

3.2 关联关系处理:ES版的《甄嬛传》

方案实现方式查询复杂度适用场景
Nested存储为独立隐藏文档O(n)一对少量,写少读多
Join父子文档同分片O(1)+Join层级关系
应用层关联多次查询+内存关联O(1)*n灵活但耗客户端资源
冗余字段数据反范式化O(1)读性能要求极高

父子文档路由陷阱

// 父子文档必须路由到同一分片
String routing = parentId; 
// 查询时必须指定路由
SearchRequestBuilder request = client.prepareSearch("index").setRouting(routing);

第四章 性能调优:从青铜到钛合金的进化

4.1 写入优化:让ES变身喷射战士

  • Refresh Interval:调整刷新频率(默认1s)

    {"settings": {"refresh_interval": "30s" // 写入高峰期可关闭(-1)}
    }
    
  • Bulk 黄金法则

    单批次大小 = 5~15MB
    并发线程数 = CPU核数 * 2
    
  • 索引缓冲区:调整indices.memory.index_buffer_size(默认10%)

4.2 查询加速:给Lucene引擎装涡轮

  • Force Merge:减少分段数量

    POST /index/_forcemerge?max_num_segments=1
    
  • 预热文件系统缓存

    GET /index/_search?query=xxx&preference=_cache
    
  • Doc Values优化

    {"properties": {"price": {"type": "integer","doc_values": true // 默认开启,非聚合字段可关闭}}
    }
    

第五章 终极实战:电商平台建模全流程

5.1 商品中心建模

PUT /products
{"settings": {"number_of_shards": 3,"index": {"sort.field": ["category_id", "price"],"sort.order": ["asc", "desc"] }},"mappings": {"dynamic": "strict","properties": {"spu_id": {"type": "keyword"},"sku_list": {"type": "nested","properties": {"sku_id": {"type": "keyword"},"specs": {"type": "flattened"} // 应对动态属性}},"category_ancestry": {"type": "keyword"}, // 存储类目路径 1/2/3"location": {"type": "geo_point"}}}
}

5.2 搜索推荐优化

混合搜索DSL

{"query": {"script_score": {"query": {"multi_match": {"query": "手机","fields": ["name^3", "description"]}},"script": {"source": """double score = _score;if (doc['sales'].value > 1000) {score *= 1.5;}return score;"""}}}
}

结语:建模是一门平衡的艺术

记住这三个永恒的矛盾:

  1. 存储成本 vs 查询性能:是否需要预处理字段?
  2. 灵活性 vs 稳定性:动态映射开还是关?
  3. 实时性 vs 吞吐量:Refresh间隔设多少?

最后送各位一张护身符:

# 查看索引的真实内存占用
GET _cat/indices?v&h=index,store.size,pri.store.size 

愿你的数据模型既能乘风破浪,又能岁月静好! 🌊

http://www.dtcms.com/wzjs/37659.html

相关文章:

  • 淄博一推网络科技有限公司沈阳关键词快照优化
  • 仿站工具箱网页版整合营销方案
  • 泸州市往建局建设银行网站名称抖音怎么推广
  • 织梦如何做汽车贸易网站厉害的seo顾问
  • 政府信息公开和网站建设工作总结站长之家权重查询
  • 河北石家庄疫情最新消息今天聊城seo整站优化报价
  • 创造与魔法官网站_一起做喜欢的事怎么让关键词快速上首页
  • 做盗版电影网站教程百度关键词搜索量排行
  • 网站建设课程设计的必要性网络营销介绍
  • 网站开发视频百度云百度产品
  • 自个做网站教程最近几天的重大新闻事件
  • 手表网站欧米茄价格腾讯控股第三季度营收1401亿
  • 北京商场skp班级优化大师官网登录
  • 制作商业网站网站创建公司
  • 可以做3d电影网站有哪些石家庄百度搜索优化
  • 专业做网站的人开封搜索引擎优化
  • 哈尔滨网站设计报价百度查询网
  • 维护网站需要多少钱武汉网站营销seo方案
  • 网站首页轮播图片素材国内免费发布产品的平台
  • 怎么样建设一个电影网站视频下载seo网络推广到底是做什么的
  • 手机门户WordPress主题windows11优化大师
  • 网站开发 与 网页设计的区别软文范例大全800字
  • 推广的网站有哪些全渠道营销
  • 上饶专业企业网站建设谷歌seo博客
  • 湖南网站建设公司谷歌搜索引擎为什么打不开
  • 建设银行嘉兴分行网站首页it培训学校哪家好
  • 西安哪里可以做公司网站免费网站在线客服软件
  • 建设公司网站费用怎么做账如何让自己的网站排名靠前
  • 免费制作自己的网站长产品品牌策划方案
  • 新的龙岗网站建设手机免费建网站