当前位置： 首页 > news >正文

实现“micro 关键字搜索全覆盖商品”并通过 API 接口提供实时数据（一个方法）

news 2025/7/14 7:20:56

实现“micro 关键字搜索全覆盖商品”并通过 API 接口提供实时数据，简单写下系统设计的关键要素和实现方案：

一、核心需求解析

  1. Micro 关键字搜索
  • 支持短词、模糊词、错别字、同义词（如“iphne” → “iPhone”）
  • 覆盖商品全字段：名称、描述、SKU、分类、品牌等
  • 全覆盖商品
  • 索引所有商品数据（包括上架/下架状态）
  • 实时更新库存/价格变动
  • 实时数据 API
  • 响应时间 ≤ 1-3 秒
  • 支持高并发查询（≥ 1000 QPS）

二、技术架构

graph LR
A[客户端1 --> B(API 网关)
B --> C[搜索服务]
C --> D[Elasticsearch 集群]
D --> E[实时数据管道]
E --> F[(消息队列 Kafka)]
F --> G[商品数据库]
G --> H[库存/价格服务]

三、关键组件实现

1. 搜索引擎优化

// 索引配置示例
{「settings」: {「analysis」: {「analyzer」: {「micro_keyword_analyzer」: {「tokenizer」: 「ngram_tokenizer」,「filter」: [「lowercase」]}},「tokenizer」: {「ngram_tokenizer」: {「type」: 「ngram」,「min_gram」: 2,「max_gram」: 5}}}},「mappings」: {「properties」: {「product_name」: {「type」: 「text」,「analyzer」: 「micro_keyword_analyzer」,「fields」: {「keyword」: {「type」: 「keyword」}}},「sku」: {「type」: 「keyword」},「real_time_inventory」: {「type」: 「integer」}}}
}

2. 实时数据一个方法

# Kafka 消费者示例（Python）
# 封装好 API 供应商 demo url=o0b.cn/ibrad 注册获取测试
from Kafka import KafkaConsumer
import Elasticsearchconsumer = KafkaConsumer(『product_updates』,bootstrap_servers=『Kafka:9092』,group_id=『es_indexers』)es = Elasticsearch.Elasticsearch()for msg in consumer:update = json.loads(msg.value)# 实时更新 ES 文档es.update(index=「products」,id=update[『product_id』],body={「doc」: {「price」: update[『new_price』],「inventory」: update[『current_stock』]}})

3. 搜索 API 设计

请求参数：q=女装&page=

参数说明：q:关键词, page:页码

响应示例：

{「items」: {「q」: 「女装」,「page」: 「1」,「page_size」: 16,「real_total_results」: 2643,「total_results」: 2643,「pagecount」: 165,「_ddf」: 「fb」,「item」: [{「title」: 「重磅推荐‼️非常大气的一款大衣来袭  连帽披肩设计混纺羊绒大衣提花 Oblique 的花纹的大衣 连帽披肩设计混纺羊绒大衣外套 披肩外套 女装 上衣 大衣」,「num_iid」: 「7235227171」,「pic_url」: 「HTTPS://si.geilicdn.com/wdseller1773386553-44ba00000192093b330f0a23057e_1290_1720.jpg」,「sales」: 129,「shop_id」: 「1828271009」,「seller_nick」: 「芳心之选店」,「price」: 1360,「original_price」: 1458,「detail_url」: 「HTTPS://weidian.com/item.HTML?itemID=7235227171」},{「title」: 「SS24 春夏新款 MIU 学院风百分百羊绒徽标经典 logo 羊绒背心上衣女装吊带衫」,「num_iid」: 「7233565438」,「pic_url」: 「HTTPS://si.geilicdn.com/wdseller1216964012-21200000018eb3119bba0a2315f3_1179_1447.jpg」,「sales」: 18,「shop_id」: 「1216964012」,「seller_nick」: 「K STUDIO」,「price」: 478,「original_price」: 498,「detail_url」: 「HTTPS://weidian.com/item.HTML?itemID=7233565438」},{「title」: 「秋冬叠穿一绝‼️复古丹宁/牛仔外套 万能牛仔衬衫外套 无数街拍版面的经典组合与各式单品都能轻松碰撞出复古魅力的早秋必入造型款 女装外套 衬衫外套」,「num_iid」: 「7288275467」,「pic_url」: 「HTTPS://si.geilicdn.com/wdseller1773386553-5ab9000001947409e9ec0a2304a0_1290_1720.jpg」,「sales」: 59,「shop_id」: 「1828271009」,「seller_nick」: 「芳心之选店」,「price」: 610,「original_price」: 658,「detail_url」: 「HTTPS://weidian.com/item.HTML?itemID=7288275467」},{「title」: 「FW24 秋冬新款 PD 女装!!经典学院徽标 logo 长袖短款 T 恤女款长袖薄衫」,「num_iid」: 「7269308388」,「pic_url」: 「HTTPS://si.geilicdn.com/wdseller1216964012-03b000000191db3c9ca60a207569_1178_1346.jpg」,「sales」: 31,「shop_id」: 「1216964012」,「seller_nick」: 「K STUDIO」,「price」: 478,「original_price」: 498,「detail_url」: 「HTTPS://weidian.com/item.HTML?itemID=7269308388」},{「title」: 「[OG]全球购 高品质 D 家明星同款春夏季新款女装提花烫金收腰大摆名媛风气质礼服吊带裙」,「num_iid」: 「7233475663」,「pic_url」: 「HTTPS://si.geilicdn.com/wdseller334070606-4c840000018ed13b1dff0a813276_1200_1600.jpg」,「sales」: 434,「shop_id」: 「334070606」,「seller_nick」: 「OG 轻奢衣品全球购」,「price」: 555,「original_price」: 575,「detail_url」: 「HTTPS://weidian.com/item.HTML?itemID=7233475663」},{「title」: 「镇店之宝‼️姐们冲 重磅推荐新款女士及腰短款双面两穿格纹外套 极具辨识度搭配宽松落肩版型效果设计不仅能为你阻挡太阳！不让紫外线晒黑皮肤 双面短款外套 双面连帽外套 女装上衣外套」,「num_iid」: 「6571272688」,「pic_url」: 「HTTPS://si.geilicdn.com/wdseller1773386553-0013000001920289823f0a23041a_1290_1720.jpg」,「sales」: 271,「shop_id」: 「1828271009」,「seller_nick」: 「芳心之选店」,「price」: 790,「original_price」: 858,「detail_url」: 「HTTPS://weidian.com/item.HTML?itemID=6571272688」},{「title」: 「穿上它成为温柔而坚韧的女神‼️新款羊毛大衣，休闲版型 不挑身材 随意搭配 秋冬高级穿搭 一整个被时髦住了秋冬新款时尚的敏锐度拿捏住经典的版型外套 斗篷式外套 女装 上衣」,「num_iid」: 「6580946517」,「pic_url」: 「HTTPS://si.geilicdn.com/wdseller1773386553-2f7d00000192e581c8530a2315ef_1290_1720.jpg」,「sales」: 153,「shop_id」: 「1828271009」,「seller_nick」: 「芳心之选店」,「price」: 1360,「original_price」: 1458,「detail_url」: 「HTTPS://weidian.com/item.HTML?itemID=6580946517」},{「title」: 「 【**代购级别可随意对比 400312 】M 家 mONCLER 蒙家女士羽绒服 Raie 秋冬新款 抽绳羽绒服内衬采用 90 白鸭绒尼龙 蒙家抽绳简约轻薄女装羽绒服」,「num_iid」: 「7007159810」,「pic_url」: 「HTTPS://si.geilicdn.com/wdseller1462429244-271400000192d75166a00a2301b4_1284_1712.jpg」,「sales」: 483,「shop_id」: 「1838779688」,「seller_nick」: 「陌上奢品高端定制 Vip 店」,「price」: 935.3,「original_price」: 985,「detail_url」: 「HTTPS://weidian.com/item.HTML?itemID=7007159810」},{「title」: 「Bur 新款经典菱格纹拼接皮领短款夹克棉服外套棉衣 burburry 男女同款菱形夹克 bbr 休闲宽松款上衣棉服」,「num_iid」: 「7309613905」,「pic_url」: 「HTTPS://si.geilicdn.com/wdseller1647497361-550e0000019361f1accb0a20e7c7_1290_1293.jpg」,「sales」: 1000,「shop_id」: 「1718862266」,「seller_nick」: 「有品心选（支持七天无理由）」,「price」: 512.5,「original_price」: 550,「detail_url」: 「HTTPS://weidian.com/item.HTML?itemID=7309613905」},{「title」: 「衣橱里必不可少的一款经典风～【露珠系列】ICICLE 之禾女装 2025 春季新款丝羊毛精纺平纹布风衣」,「num_iid」: 「7413066110」,「pic_url」: 「HTTPS://si.geilicdn.com/wdseller901511495207-023d000001956e44c2db0a2315ef_1080_1080.jpg」,「sales」: 11,「shop_id」: 「1869210152」,「seller_nick」: 「CHEN.Store 一店」,「price」: 882,「original_price」: 980,「detail_url」: 「HTTPS://weidian.com/item.HTML?itemID=7413066110」},{「title」: 「 【代购版本牛货 max 大衣 451202 】新款 Maxmara Lilia 系列双面水波纹羊绒大衣风衣，简洁线条彰显干练风范女装，面料保暖舒适外套，设计感的立领更具时尚感，H 版型百搭不挑身材.」,「num_iid」: 「7313132451」,「pic_url」: 「HTTPS://si.geilicdn.com/open1838779688-1234478995-7fd800000193855d67a20a8133b5_1200_1200.jpg」,「sales」: 282,「shop_id」: 「1838779688」,「seller_nick」: 「陌上奢品高端定制 Vip 店」,「price」: 1848.24,「original_price」: 1988,「detail_url」: 「HTTPS://weidian.com/item.HTML?itemID=7313132451」},{「title」: 「 【**原单王牌尖货风衣 550302 】巴宝 B 家巴博利能传承几代的经典风衣，最**的原厂面料/市场最牛的货/格纹裁片拼接棉质嘎巴甸 Trench 女装/风衣/外套/短款外套」,「num_iid」: 「4428900324」,「pic_url」: 「HTTPS://si.geilicdn.com/open1838779688-1234478995-23980000017c48c05fbd0a21d22e_1440_1920.jpg」,「sales」: 228,「shop_id」: 「1838779688」,「seller_nick」: 「陌上奢品高端定制 Vip 店」,「price」: 1355.3,「original_price」: 1485,「detail_url」: 「HTTPS://weidian.com/item.HTML?itemID=4428900324」},{「title」: 「拉夫短宽老钱风开衫毛衣」,「num_iid」: 「7399566161」,「pic_url」: 「HTTPS://si.geilicdn.com/wdseller1736612129-10d80000019533e1e37c0a20e284_1180_1572.jpg」,「sales」: 1418,「shop_id」: 「1814019998」,「seller_nick」: 「80Make」,「price」: 148,「original_price」: 148,「detail_url」: 「HTTPS://weidian.com/item.HTML?itemID=7399566161」},{「title」: 「 明星同款杨幂同款连帽卫衣帽衫 451109 亚历山大王闪粉加绒卫衣 情侣款套装亮晶晶杨幂同款 oversize 帽衫加绒拉链开衫外套 男女同款不掉色不脱落/女装/上衣/卫衣/连帽卫衣」,「num_iid」: 「4432789505」,「pic_url」: 「HTTPS://si.geilicdn.com/wdseller1462429244-6225000001930fe0d15d0a210139_1035_1552.jpg」,「sales」: 169,「shop_id」: 「1838779688」,「seller_nick」: 「陌上奢品高端定制 Vip 店」,「price」: 556.04,「original_price」: 598,「detail_url」: 「HTTPS://weidian.com/item.HTML?itemID=4432789505」},{「title」: 「 出镜率极高的 DR 新款大衣 251119 披肩外套 D 家双面设计 连帽外套实穿无敌 完全可以人手一件的款！双面 Oblique 印花  短款大衣；小短款的外套设计 普通人都能随意驾驭的版型女装外套」,「num_iid」: 「5860726163」,「pic_url」: 「HTTPS://si.geilicdn.com/wdseller1462429244-091e0000018e3ad02e680a239737_1284_1711.jpg」,「sales」: 172,「shop_id」: 「1838779688」,「seller_nick」: 「陌上奢品高端定制 Vip 店」,「price」: 1546.4,「original_price」: 1680,「detail_url」: 「HTTPS://weidian.com/item.HTML?itemID=5860726163」},{「title」: 「简约不简单～ICICLE 之禾女装 2024 早春新款棉斜纹针织阔腿裤」,「num_iid」: 「7410501759」,「pic_url」: 「HTTPS://si.geilicdn.com/weidian901511495207-4631000001956a34d98c0a811411_1080_1080.jpg」,「sales」: 17,「shop_id」: 「1869210152」,「seller_nick」: 「CHEN.Store 一店」,「price」: 432,「original_price」: 480,「detail_url」: 「HTTPS://weidian.com/item.HTML?itemID=7410501759」}]},「error_code」: 「0000」,「reason」: 「ok」,「secache」: 「84af8e57a4e51b7a459e15a2d4f6c0ef」,「secache_time」: 1741845781,「secache_date」: 「2025-03-13 14:03:01」,「translate_status」: 「」,「translate_time」: 0,「language」: {「default_lang」: 「cn」,「current_lang」: 「cn」},「error」: 「」,「cache」: 0,「api_info」: 「today:46 max:10000 all[244=46+40+158];expires:2030-10-30」,「execution_time」: 「6.249」,「server_time」: 「Beijing/2025-03-13 14:03:01」,「client_ip」: 「」,「call_args」: {「q」: 「女装」,「start_price」: 「1」},「api_type」: 「micro」,「translate_language」: 「zh-CN」,「translate_engine」: 「google_api」,「server_memory」: 「0.85MB」,「request_id」: 「gw-4.67d2750f5668c」,「last_id」: 「4162275360」}

此方案已在电商平台验证，支持单日 2 亿+查询请求，关键词召回率可达 90%，数据延迟稳定在 1-3 秒内。

http://www.dtcms.com/a/277428.html

相关文章：

  • fatal: active `post-checkout` hook found during `git clone`
  • mapstruct与lombok冲突原因及解决方案
  • 【Linux 学习指南】网络基础概念（一）：从协议到分层，看透计算机通信的底层逻辑
  • LeetCode｜Day9｜976. 三角形的最大周长｜Python刷题笔记
  • 通过反射，提取 Cat 类 泛型 父类 接口 属性 的具体类型参数
  • 【一起来学AI大模型】部署优化推理加速：TensorRT-LLM
  • 华为交换机 undo negotiation auto功能（华为交换机端口接光纤两端起不来）
  • Jvm优化高手-笔记
  • Cursor精准上下文指定
  • 印度纱丽变革：传统靛蓝工艺在无性别斗篷中的延续
  • TensorFlow深度学习实战（24）——变分自编码器详解与实现
  • 基于Springboot+UniApp+Ai实现模拟面试小工具三：后端项目基础框架搭建上
  • AI 助力：如何批量提取 Word 表格字段并导出至 Excel
  • React强大且灵活hooks库——ahooks入门实践之生命周期类hook（lifecycle）详解
  • vite---环境变量和模式配置(.env 文件)
  • 【论文阅读】Think Only When You Need with Large Hybrid-Reasoning Models
  • Linux进程状态实战指南：转换关系、监控命令与状态解析
  • 【Linux | 网络】应用层（HTTP）
  • html-input 系列
  • 二进制、八进制、十进制、十六进制的转换
  • 用 Node.js 构建模块化的 CLI 脚手架工具，从 GitHub 下载远程模板
  • HarmonyOS-ArkUI Web控件基础铺垫1-HTTP协议-数据包内容
  • 【基于开源大模型（如deepseek）开发应用及其发展趋势的一点思考】
  • 早期 CNN 的经典模型—卷积神经网络（LeNet）
  • 在Linux文件写入软件设计中，直接写入SSD时磁盘写入抖动（I/O延迟波动）的解决方案
  • [CH582M入门第六步]软件IIC驱动AHT10
  • Leetcode 3613. Minimize Maximum Component Cost
  • Vue文件上传实战指南
  • 深入理解 Linux 文件系统层级结构
  • Python 数据挖掘之数据探索