闲鱼选品数据分析工具(闲鱼商品选投实时性优化)
闲鱼选品数据分析工具(闲鱼商品选投实时性优化)
2024-11-22 12:58:31  作者:往事随雨  网址:https://m.xinb2b.cn/life/rev438790.html
选投实时链路

马赫整个选品和投放的过程中数据流转如下图所示主要分为三个部分,第一部分是选品数据接入,数据是马赫选品的根本,数据的实时是整个马赫流程能有效运转的基础。第二部分是选品规则计算,规则计算是马赫的核心,计算的实时性保证了马赫能把选品结果同步到各个下游节点。第三部分是商品投放,商品投放是与用户距离最近的部分,实时的反馈能给用户带来更好的体验。


马赫实时性性能优化也是从这三部分入手,下面将针优化过程进行详细介绍。

选品数据实时性能优化

马赫选品依赖的选品宽表数据,主要由两类数据构成,一类是商品基础数据,商品基础数据指用户发布的商品信息包括:商品类型、商品状态、商品价格、商品描述、商品图片;该类数据通过订阅商品数据库的变更已经实现了实时性。另外一类是基于商品衍生出的统计和预测数据,这类的数据一般都是通过ODPS(阿里内部离线计算平台)离线计算,产出时间与商品基础相比大多是天级别或小时级别延迟,该类数据原有的接入方案如下,无论是小时级别延迟还是天级别延迟产出的数据,都是进行统一的处理,每天把所有的数据JOIN到一起后输出到一个离线数据表中,然后把该数据通过BLINK 和 MetaQ消息通道与马赫的数据统一接入层对接。该方案的优点是所有的离线产出数据只需要处理一次方便运维,同时每天一次回流整个过程的数据量可控。缺点也是显而易见,首先每天汇总数据产出时间取决于上游耗时最长的数据,如果有数据延迟将会影响整个流程的耗时,其次明明是H 1产出的数据却要等到T 1才可使用,这严重影响了选品能力。


问题已经明确那剩下来的就是解法,首先要解决的汇总数据依赖上游最长耗时的问题,常规的解法是汇总数据定时产出,到了定时时间,上游各个节点数据已经产出那么就使用,如果没有产出就使用上一次产出的数据,最初解决时也确实采用了该方案,该方案会造成部分数据要T 2才可以进入选品宽表。虽然不是很好的解法但是解法简单,作为过渡方案在马赫里面也运行了一段时间。下面介绍这个问题马赫采用的最终解法,如下图所示:


首先把数据按照产出周期进行分类,H 1产出的数据量级在万,T 1产出的数据量级在亿,对于H 1的数据直接利用BLINK读取后,利用MetaQ数据通道输出到数据统一接入层,保证了数据产出即用。对于T 1的数据同样直接利用BLINK读取,由于该部分数据过大,如果直接输出QPS将会达到百万级别对于下游压力过大,所以马赫利用BLINK的滑动窗口的聚合能力,把商品ID作为KEY对窗口内的数据进行聚合,聚合后再输出到马赫数据统一接入层。滑动窗口越小那么实时性将会越高,但是同样系统压力也会越大,目前马赫的滑动窗口时间为6个小时。该方案解决了商品算法和统计数据接入实时性的问题,但整个系统流量增加了4倍,这也是设计系统时候常常纠结的时间成本与空间成本的权衡问题,在本次优化中选择了用空间换时间并有节制的控制了两个的平衡,优化后效果从天级别延迟缩短至小时级别。

选品规则计算实时性优化

选品规则计算包含两个部分一部分是运营创建选品规则时在马赫选品宽表中运算选并产出结果集称为离线选品规则执行引擎,另一部分是当商品信息变更时需要重新计算当前商品命中的选品规则称为在线选品规则执行引擎。

首先介绍第一部分离线选品规则执行引擎的优化,运营创建的选品规则会映射成SQL在马赫选品宽表ADB上进行执行,ADB是全索引数据表这里主要是用空间去换时间,但是有一类问题很难解决就是文本的全字段匹配,举一个例子选品宽表中有个从商品基本数据表中映射字段ATTRIBUTE,从名字就不难看出该字段是当时商品设计中预留出的扩展字段,其内容以kv对分号分隔的形式进行存储,运营在进行选品时最终映射到该字段的规则SQL是用LIKE关键字进行在十几亿的数据中检索在其性能可想而知。所以针对该类字段做了多值映射即把kv对映射成数字进行存储,该方案虽然不复杂但是解决了创建规则时商品量计算以及商品预览的时效性问题不做过多赘述,优化后商品计算从6分钟级别降至30秒,具体效果如下:


下面介绍第二部分在线规则执行引擎的优化,在线引擎是在BLINK中实现的,商品的变更信息作为输入源,在执行引擎中计算出当前商品命中的商品池,把商品和对应命中的商品池作为结果输出到下游。原有的流程如下所示:


在BLINK中主要完成了马赫关键的MERGE 和 DIFF操作,MERGE是把BLINK内存中的数据与输入进来的数据取字段上的最大的更新时间戳为最新数据把商品信息整合。然后把整合后的数据在所有的选品规则上运行,运行结果与上一次结果做对比,筛选出两次结果不同的数据作为结果输出这步操作称为DIFF。这样做的好处是内存存储商品最新数据减少读取的IO减少时间消耗,同时输出结果时只输出DIFF,减少数据量的传输再次节省时间。该方案也有着明显的弊端整个数据都在内存中存储,如果发生不可预期的异常内存中的数据将会丢失,从系统开始运行到优化前从没有停机过,其中付出的运维成本可想而知,同时不可停机导致系统无法升级和使用新版本的BLINK能力。下面针对不可停机问题进行如下解法:


在BLINK接受到商品信息时首先从本地拉取数据,如果拉取不到则从商品信息库中读取对应数据,在结果输出时在输出原有的信息同时增加输出商品信息与全量的规则命中信息,作为备份存储方便停机恢复,其中为了减少存储空间和数据的IO在传输和存储过程中对数据都进行了压缩处理。最终方案整个逻辑不是很复杂,复杂的是如何从原有的方案平滑切换到现在的方案,其中涉及到数据同步、数据转换、数据校对,这里面踩了不少坑,该部分不是本文的重点就不赘述了。最终在解决不可停机的问题同时也升级了BLINK版本,升级后数据延迟从原有的2分钟降低至2秒,让整个在线规则引擎运行更快更平稳。

商品投放的实时优化

商品投放是与用户侧距离最近的能力,运营圈选商品后形成商品池,然后利用商品池搭建页面投放给用户,在用户请求时把商品从商品池中召回然后展现给用户,具体流程如下图所示。


在这个过程中与马赫发生深层关系的是在召回的部分,目前马赫支持搜索召回和算法召回两种召回方式,搜索召回中把商品池的实时变更同步给搜索引擎做增量的迭代,天然支持实时召回的能力只需要保证增量的稳定即可;算法召回利用的是用户属性召回相关商品,用户和商品的关系是T 1产出,这与马赫场景中强调的实时性相悖,为了解决算法召回的实时性问题,马赫做出如下解法:


首先我们看一下召回流程:当接受到一个用户请求,我们会得到两个信息一个是用户的ID和商品池的ID,首先利用用户ID查询用户与商品关系表进行个性化召回,然后利用商品池的ID查询选品池与商品关系数据表进行通用性召回,最后把两部分数据进行去重合并这里统称为个性召回,召回后的数据JOIN商品与商品池关系表,只保留符合该商品池ID下的商品这里称为召回过滤,如果此时商品数量满足召回要求则返回,如果不满足召回要求则查询商品池与商品关系数据表召回的兜底数据这里统称为兜底召回,通过召回流程后再经过RANK和信息补充就把数据呈现给用户了。

上面流程中提到多个数据表,那么这些数据表是如何产出又为什么这么设计下面详细介绍。首先介绍在个性召回中使用的BE用户和商品关系数据表的产出逻辑,这部分数据不依赖马赫的任何信息,仅仅是通过用户在闲鱼的点击浏览等用户偏好行为对用户喜欢的商品进行预测,每个用户相关商品规模在2000个是T 1产出。然后介绍个性召回中使用的BE选品池和商品关系数据,这部分数据是依赖马赫离线引擎同步产出的,这里的产出逻辑是首先根据各项指标对选品池中的商品进行排序,排序后保留前5000个作为通用召回是T 1产出,使用依赖这两个表完成了个性召回步骤。然后是召回过滤中BE商品与选品池关系数据,这部分数据是利用在线同步引擎实时更新的,之所以设计这步召回过滤是为了防止个性召回的T 1的商品,当前已经不在商品池中了。所以理所当然的就有了召回兜底逻辑,该部分数据是由马赫的同步引擎保证实时更新存储在IGRAPH中,可以用商品池的ID召回当前池子中最新的2000个商品作为兜底。通过以上的逻辑保证了用户在算法进行召回时的实时性。

总结

本文从马赫选品到马赫投放实时性优化做了全面的介绍,每一步优化呈现的都是最终方案,为了保证系统的平滑过渡优化中中踩了很多坑不过最终都平稳落地,优化后的马赫从选品到投放整个实时链路时延有一个质的变化,选品数据从T 1变为H 1,选品流程从6分钟变为30秒,投放流程从2分钟变为2秒,系统更健壮也更实时,从整体功能看马赫还是属于一个工具级别系统,还远没有达到产品级别系统级。


如上图所示,未来会把重点放在选品能力与整体运维能力上,在优化原有系统的同时增加新的能力,逐步把马赫打造成产品化系统。


  • 养殖场除苍蝇的方法有哪些(养殖场爬满苍蝇)
  • 2024-11-22养殖场爬满苍蝇三伏天的养殖场本来就很难熬了,还有着所有养殖场一致头疼的问题,那就是苍蝇滋生猖獗,苍蝇能携带60多种细菌,传播50多种疾病,不管是对人们还是牲畜都是由危害的可用尽各种办法,但是效果不明显,到底是为啥呢。
  • 糖葫芦迷你小串怎么做的
  • 2024-11-22糖葫芦迷你小串怎么做的步骤/方式1山楂用盐水洗净擦干步骤/方式2去梗去核(也可以不去核,吐核别有滋味),用竹签串起来步骤/方式3冰糖和开水按1:1放步骤/方式4烧开步骤/方式5变色,然后大泡泡变小泡泡,证明水越来越少,撒点。
  • 考研调剂的注意事项和方法(考研失利不要再迷茫了)
  • 2024-11-22考研失利不要再迷茫了2022年的第一周即将过去,一年一度的考研大考(初试部分)已经拉下帷幕半个月,首先祝贺各位成功地坚持到考试的最后一刻,无论结果如何,你们都是值得赞扬的勇士!但很多小伙伴们考完之后仍然焦虑不已,产生了很。
  • 新时代如何做好四有好老师(牢记时代使命做)
  • 2024-11-22牢记时代使命做牢记时代使命,做“四有好老师”2022年09月09日,人民网—人民日报刊载了勉励北京师范大学“优师计划”师范生“到祖国和人民最需要的地方去,努力成为党和人民满意的“四有”好老师”的回信,的回信让我们教。
  • 请问TA是指什么意思
  • 2024-11-22请问TA是指什么意思1、TA是指化学元素钽钽是一种化学元素,符号为Ta,原子序为732、广告投放中,ta是targetaudiences的缩写,意思是目标受众3、在网络用语中,TA指第三人称,不限性别男女都可以,也可以指。
  • 玻璃水买哪个比较划算(市场上的玻璃水随便买)
  • 2024-11-22市场上的玻璃水随便买很多车主朋友会发现最近汽车玻璃水用的好像比以前快了,以前一大壶能用好久,现在没用几次就又要买了其实主要是季节因素,夏季气温高,多雨树胶多,因此车玻璃脏的快许多爱干净的车主有良好的行车习惯,每次开车前都。
  • 圣斗士星矢手游圣域传说奖励(主策划解析圣斗士星矢3D)
  • 2024-11-22主策划解析圣斗士星矢3D作为与龙珠一样历时数十年不衰的老牌动漫IP,“圣斗士”在全球范围内都有着巨大的影响力,与此同时,这个IP之下衍生出的游戏产品也非常之多从1987年首个游戏产品《圣斗士星矢:黄金传说》(包括1988年的。
  • 婴儿吃奶量减少(宝宝吃奶少应该怎么办)
  • 2024-11-22宝宝吃奶少应该怎么办宝宝身体稍有不适或消化不良等均会引起宝宝奶量降低,喂养方式不当也可能导致宝宝不愿喝奶这个时候父母应仔细观察宝宝,注意其是否有其他异常情况,可采取少食多餐的方式来喂奶首先,在婴儿吃奶量减少的情况下,妈妈。
  • 旅游分销后台功能(有哪些旅游产品分销平台)
  • 2024-11-22有哪些旅游产品分销平台直销平台——微商城通过建立线上微商,基于移动端的直销渠道和品牌展示平台,例如票付通智慧旅游SaaS旅游云服务平台,基于用户盈利需求,为商户搭建线上微商城,H5及小程序两种形式,方便快捷,还可搭配多样化。
  • 到底肌底液和精华液的区别有哪些
  • 2024-11-22到底肌底液和精华液的区别有哪些  1、产品定位不同,肌底液侧重为后续产品吸收扫清道路,精华更侧重为皮肤补充营养肌底液最大的作用就是补水保湿,肌底液中含有既亲水又亲油的成分,能快速打开肌肤的毛孔通道,舒缓皮肤紧张,从而促进后续护肤品。
  • 幼儿园拼音基础教学(幼儿园应该怎样教)
  • 2024-11-22幼儿园应该怎样教一、单韵母个单韵母,很重要,发音口形要摆好嘴巴张大aaa,嘴巴圆圆ooo,嘴巴扁扁eee,牙齿对齐iii,嘴巴突出uuu,嘴吹口哨üüü记住字形读音(形象记忆)Ua像阿姨梳辫子,张嘴唱歌aaa.o像公。
  • 世界上最早出现的恐龙长什么样(恐龙的世界之最)
  • 2024-11-22恐龙的世界之最最早的恐龙最早恐龙的化石,是在三叠纪的岩石中发现的可能是始祖龙,它最早出现在2.28亿年以前,是1992年在阿根廷发现的,它的头骨与鳄的头骨相似,长着弯曲的利齿是一种小型的食肉恐龙南十字龙是早期恐龙中。