首页 > 品牌 > 品牌 > 京东亿级商品搜索排序规则技术全面公开!

京东亿级商品搜索排序规则技术全面公开!

来源:整理 时间:2022-08-11 17:08:12 编辑:派代电商 手机版

a.Blender Page cache:由于京东搜索符合互联网的二八原则,百分之二十热门查询频度非常之高,占用每天的搜索数据请求量百分之八十,针对这一点特点,京东搜索第一级缓存以查询请求为KEY,将返回给用户的页面作为value。对于完成相同的请求,直接从缓冲页面返回结果。页面的缓存策略上线意识,缓冲命中率就接近了30%,基本解决了当时的性能问题。

b.Merge Page cache:随着业务的发展,京东排序结果需要针对不同京东用户个性化订制,导致请求中会包含用户的user pin。如果将user pin放入缓存作为key,会导致blender cache的key数量暴增,不但京东服务器需要超大的缓存空间,同时服务器缓存的命中率也会极低,最终会导致线上京东个性化服务系统的体验满意度降低。为了解决这个系统问题,将user_pin加入key,但是value只保存京东排序好的商品id,这样需要的缓存空间远远小于blender cache。当命中缓存后,调用detail直接进行结果包装。为了进一步提高缓存命中率,利用用户京东搜索的翻页习惯,即离线统计出用户的翻页数TP99,然后在value中缓存这些页面涉及到所有的商品id,从实践效果来看,用户后续的翻页请求大部分会命中cache。

c.在深入分析了业务的京东排序需求之后,我们发现拉取倒排的结果只和“查询词”&筛选条件“,作为KEY的方式对其进行一次缓存。

虽然拉取京东倒排结果缓存的key很快就解决了,但是我们在解决Value的存储时遇到了两个问题:1)拉取倒排的结果非常之多,导致缓存过大;2)对此结果的缓存数据,会降低京东实时索引的时效性性质。

对于问题1),在分析了京东业务之后,对需要缓存的信息进行了大量面积的精简并采用压缩存储,最终将一个查询的缓存控制在0.5M以下,这样京东搜索缓存数据就响应时间很快。 对于问题2),我们将拉取倒排结果数据分为两部分,第一部分是从全量索引拉取倒排结果,第二部分是从实时索引拉取倒排的结果。为了和全量索引的更新频率保持同步,我们把第一部分的京东数据进行缓存的周期置一天。对于第二部分数据,由于是京东增量结果永远少于全量结果(一般增量只有全量5%不到),每次缓存都进行了实时计算规则。这就是图3中的doc cache机制。从实践中来看,命中doc cache的响应时间比未命中的降低了1-2个数量级。将来随着增量结果的积累,如果实时拉取倒排结果成为性能瓶颈,可以对增量索引分段也进行缓存。

2. 截断策略

对于有些京东比较热门的查询,由于其搜索结果比较多的情况下:比如”男鞋“、之类的query,原始查询结果几千万个请求,如果对这些结果挨个进行处理,性能会大大降低非常差。同时,从用户角度去分析,一个查询只有排在最前面的的结果用户才有意义。通过分析京东用户的翻页次数,可能得到阶段保留的TOPN结果,如何保证阶段不影响用户的体验的呢?首先我们对商品建立一个离线的系统模型,即为每个商品计算出一定的质量分数据,然后在索引阶段,将所有商品按照质量分高低进行一次排序,保证在倒数链条中,排在前面的商品质量分总是高于后面的商品。在线前往后拉取倒排过程中,如果结果数达到10*TOPN时,停止拉取倒排,随后对结果计算文本相关性,按照文本相关性啦出TOPN个,截断算法上线前后,虽然KPI质量无明显很大变化,但是对的查询结果性能提升了一个数量级别差异。


文章TAG:规则排序搜索京东搜索

最近更新

  • 淘宝造物节三角形眼睛,图一有1个三角形图2有5个三角形图三有九个三角形请问第n个淘宝造物节三角形眼睛,图一有1个三角形图2有5个三角形图三有九个三角形请问第n个

    图一有1个三角形图2有5个三角形图三有九个三角形请问第n个4n-32,这个三角眼睛符号什么意思共济会的上帝之眼符号。详情请搜索:上帝之眼3,施工图中的三角形代表什么意思啊那个三角形是“焊.....

    品牌 日期:2024-03-28

  • 宝尊电商代运营,宝尊电商干什么的宝尊电商代运营,宝尊电商干什么的

    宝尊电商干什么的上海的电子商务公司,可能是最大的淘宝天猫代运营公司了,阿里有股份的--sjz新华电脑知道团队2,耐克突然给我发了个宝尊商品是真的吗耐克突然给我发了个宝尊商品不要相信,拒.....

    品牌 日期:2024-03-28

  • 社群团购,社群团购怎么起步要做什么社群团购,社群团购怎么起步要做什么

    社群团购怎么起步要做什么2,社群团购是什么要做社群团购需要了解什么3,社区团购小程序有什么优势开发一个社区团购小程序需要多少钱4,社区团购和社群团购的区别有多大需要小程序吗5,社区团.....

    品牌 日期:2024-03-27

  • 如何制作淘宝主图视频和视频,淘宝主图视频怎么制作如何制作淘宝主图视频和视频,淘宝主图视频怎么制作

    淘宝主图视频怎么制作2,怎么将图片制作成视频我想用来做淘宝主图视频3,淘宝主图视频怎么做1,淘宝主图视频怎么制作制作淘宝主图视频,建议用数码大师非常简单点击视频相册选项卡,导入图片、.....

    品牌 日期:2024-03-27

  • 淘宝商家的客服在哪里,淘宝客服在哪里怎么进淘宝商家的客服在哪里,淘宝客服在哪里怎么进

    淘宝客服在哪里怎么进2,淘宝客服在哪3,淘宝网的客服在哪能找到4,淘宝店家说的客服是在哪5,手机淘宝淘宝客服在哪6,淘宝的人工客服的网址7,怎么找到淘宝卖家人工客服1,淘宝客服在哪里怎么进淘.....

    品牌 日期:2024-03-27

  • 淘宝优惠券网站,淘宝的内部优惠券哪个平台最全淘宝优惠券网站,淘宝的内部优惠券哪个平台最全

    本文目录一览1,淘宝的内部优惠券哪个平台最全2,淘宝网内部券领取网站有哪些3,哪里有最全的淘宝优惠劵4,淘宝优惠网站有哪些5,有优惠券的推送网站吗谁来介绍下淘宝的哈6,淘宝优惠券有哪些平台.....

    品牌 日期:2024-03-27

  • 淘宝网页电脑版登录界面,如何登入淘宝网淘宝网页电脑版登录界面,如何登入淘宝网

    如何登入淘宝网2,淘宝网电脑版登陆怎么进淘宝首页登陆3,电脑上淘宝怎么登陆4,淘宝网首页登录5,淘宝网电脑版登陆首页1,如何登入淘宝网打开淘宝网主页,登入输入帐号、密码。进入!2,淘宝网电脑.....

    品牌 日期:2024-03-27

  • 下载拼多多可以赚钱吗,拼多多能赚钱是真的吗下载拼多多可以赚钱吗,拼多多能赚钱是真的吗

    拼多多能赚钱是真的吗2,拼多多能挣得到钱吗高人解答3,为什么拼多多可以赚钱4,请问一个新手开拼多多如何赚到钱5,玩拼多多有什么挣钱的方法6,拼多多能好挣钱吗7,现在做拼多多还能赚到钱吗1,拼.....

    品牌 日期:2024-03-27

品牌排行榜推荐