当前位置: 首页 > news >正文

高性能实现手机号模糊查询

业务介绍

手机号模糊搜索对于用户来说是很常用的场景,比如要根据手机号搜索客户的相关订单、搜索客户的历史数据、搜索员工的相关操作记录等等。强制要求用户一定要输入完整的手机号不是合理,而且也很难用,包括我自己在内,记忆四位手机号和记忆完整手机号是感觉完全不同的。还有些场景手机号是要脱敏的,用户可能只能感知到后四位。

技术实现

假设,我们储存使用的是最常见的mysql,大家都知道如果是全模糊搜索%%是无法走索引的,性能会非常差,所以我之前设计过一种方案,手机号额外使用三个字段344进行存储。比如说普通用户表是以下存储方式。

userIdmobile
113500000005
213500000010
313500000012

手机号344是以下存储方式

userIdmobileheadmidtaill
11350000000513500000005
21350000001013500000010
31350000001213500000012

因为大多数人的阅读方式还是344格式的,对head、mid、taill分别加索引后,同时要对用户的输入做query改写。
比如说传入4位数,就要查两次,mid一次,tail一次。
比如说传入的是8位数,那就进行分割,拿到后四位查一次,用mobile进行like。 select * from table where taill = ‘xxxx’ and mobile like ‘%xxxxxxxx%’

该种方式能有效走索引,不会引发全表扫描。
但是个人不是很建议使用,因为像用户这类信息基本上都有相应的ES存储,没必要在mysql上浪费额外的空间和索引。

最佳推荐使用(性能最强)

如果有ES索引的话,mobile字段用whitespace分词方式,写入文档的时候把手机号处理成135 0000 0005。
PS:ES自定义tokenizer很难满足我们这类场景,把手机号按照344分割,所以建议在写入的时候预处理,这样也能方便对不同国家的手机格式进行适配。
在查询的时候使用match_phrase就好了 ,要注意的是查询的时候同样要按照分词方式进行query改写,比如用户输入八位12344567查询要分割成1234 4567。

{"query" : {"bool": {"must": [{	"match_phrase": {"mobile": "1234 4567"}}]}}
}

当然为了更好的用户体验,也可以使用edge_ngram分词器,他会把手机号按照不同的步长进行切分(缺点是数据会膨胀很多,浪费空间),使用edge_ngram + ES方式已经能达成全模糊的查询效果了。

{"index": {"max_ngram_diff": 50},"analysis": {"analyzer": {"phone_analyzer": {"tokenizer": "ngram_tokenizer"}},"tokenizer": {"ngram_tokenizer": {"type": "ngram","min_gram": 3, "max_gram": 11 }}}
}

相关文章:

  • IDEA2024 pom.xml依赖文件包报红解决
  • EM储能网关ZWS智慧储能云应用(9) — 远程OTA升级
  • RISC-V简介
  • 规范化与反规范化策略白皮书
  • C++解析操作mat文件方法-基于vs2019
  • OCC中的参数方程简介
  • 【Python学习笔记】Pandas实现Excel质检记录表初审、复核及质检统计
  • SadTalker 多表情运行需求
  • Rust 与 JavaScript 的 WebAssembly 互操作指南
  • CSS核心笔记001
  • python学习—合并多个word文档
  • ffmpeg无损转格式的命令行
  • 易境通WMS系统俄罗斯物流解决方案:告别“最后一公里”烦恼
  • 智能存储柜对比传统WMS管理模式的优势介绍
  • 数据通信学习笔记之OSPF路由汇总
  • 使用python帮助艺术家完成角色动画和服装模型等任务
  • JESD204B接收器核心实现和系统级关键细节
  • 机器人运动学
  • ACP人工智能认证笔记整理(超详细版)
  • Windows Acrobat Pro DC-v2025.001.20435-x64-CN-Portable便携版
  • 香港特区立法会通过条例草案便利外地公司迁册来港
  • 市场监管总局召开平台企业支持个体工商户发展座谈会
  • 袁思达已任中国科学院办公厅主任
  • 中美经贸中方牵头人、国务院副总理何立峰出席新闻发布会表示:中美达成重要共识,会谈取得实质性进展
  • 数说母亲节|全球11亿女性进入更年期,“不是忍忍就好”
  • 为发期刊,高校学者偷贩涉密敏感数据!国安部披露间谍案细节