搜索引擎与宝贝搜索不得不说的故事课件

搜索引擎与宝贝搜索不得不搜索引擎与宝贝搜索不得不说的故事说的故事1感谢你的观看2019年9月21搜索引擎与宝贝搜索不得不说的故事1感谢你的观看2019年9月认认识识淘淘宝宝宝宝贝贝搜搜索索买个买个iphone5iphone5！送女朋友什么送女朋友什么裙子好呢？裙子好呢？手机大甩卖！连衣裙包邮！牛仔裤清仓买一送一！2感谢你的观看2019年9月21认识淘宝宝贝搜索买个iphone5！送女朋友什么裙子好呢？手数据量大:8亿数据更新量大:2亿天查询量大:3-4亿PV天查询准确率要求高对买家负责，降低查找成本查询召回率要求高对卖家负责，让每个宝贝搜索可达业务逻辑复杂：属性信息远大于倒排信息宝宝贝贝搜搜索索的的特特点点3感谢你的观看2019年9月21数据量大:8亿宝贝搜索的特点3感谢你的观看2019年9月2宝宝贝贝搜搜发发展展史史数数据据量量4感谢你的观看2019年9月21宝贝搜发展史数据量4感谢你的观看2019年9月21宝宝贝贝搜搜发发展展史史查查询询量量5感谢你的观看2019年9月21宝贝搜发展史查询量5感谢你的观看2019年9月21淘宝网 2003年商城 2008年一淘网 2012年未来宝宝贝贝搜搜索索发发展展史史大大事事记记C2CC2C宝贝宝贝C2CC2C宝贝宝贝B2CB2C宝贝宝贝C2CC2C宝贝宝贝B2CB2C宝贝宝贝全网购物搜索全网购物搜索一站式购物体验一站式购物体验发现发现比较比较优惠券优惠券C2CC2C宝贝宝贝B2CB2C宝贝宝贝全网购物搜索全网购物搜索一站式购物体验一站式购物体验发现发现比较比较优惠券优惠券个性化个性化协同搜索协同搜索6感谢你的观看2019年9月21淘宝网 2003年商城 2008年一淘网 2012年未来宝贝淘淘宝宝搜搜索索架架构构演演变变引擎平台统一业务引擎分离业务逻辑分离解决容量速度解决搜索功能7感谢你的观看2019年9月21淘宝搜索架构演变解决搜索功能解决容量速度业务逻辑分离业务引擎不断增长的搜索 复杂多变的业务数据量日益增长庞大的属性信息频繁地数据更新灵活的运帷平台每年痛并快乐着的大促（1111/1212）爆发式流量增长和更新量增长搜搜索索引引擎擎面面临临的的技技术术挑挑战战8感谢你的观看2019年9月21不断增长的搜索 搜索引擎面临的技术挑战8感谢你的观看20关联非引擎服务(UPS、QP、Forest etc.)多路数据混排(同构数据、异构数据)搜索结果Rerank其他各种“异想天开”的业务逻辑统一服务入口解解决决之之道道数数据据聚聚合合层层(S SP P/A Ag gg g)9感谢你的观看2019年9月21关联非引擎服务(UPS、QP、Forest etc.)解决之Build插件：允许对建索引的原始文档进行加工分词插件：控制检索粒度QRS插件：改写Query定制业务逻辑、改写结果满足业务需求属性信息定制化：直接使用Attr(price)、简单表达式(price+postage)、插件化(lib.so)Scorer插件：特殊的属性信息定制化功能丰富的配置接口解解决决之之道道灵灵活活的的配配置置插插件件接接口口10感谢你的观看2019年9月21Build插件：允许对建索引的原始文档进行加工解决之道灵高召回率、低响应延时 内存引擎数据量的增长、属性信息的增多带来挑战根据业务需求不断对引擎进行瘦身倒排信息压缩(P4Delta等)正排信息精确存储(xBits,int8,int16,int32,)正排信息压缩(GroupVariInt等)正排信息去重(偏移存储)属性信息编码压缩解解决决之之道道减减肥肥是是永永恒恒的的主主题题11感谢你的观看2019年9月21高召回率、低响应延时 内存引擎解决之道减肥是永恒的主神级性能优化之道Cache奇迹般近乎无损的截断深入理解业务对付频繁更新带来的性能衰减UPI(运维支撑)商品搜索性能杀手正排信息的访问(L1/L2 Cache与RAM的博弈)业务发展永远都是粗旷型的定期Review业务实现常常会有意想不到的收获数据分层解解决决之之道道性性能能优优化化12感谢你的观看2019年9月21神级性能优化之道Cache解决之道性能优化12感谢你伟大的Admin集中式管理故障自动恢复多集群管理按需索引分发索引自动切换和更新集群拓扑动态发现解解决决之之道道一一体体化化运运维维体体系系13感谢你的观看2019年9月21伟大的Admin集中式管理解决之道一体化运维体系13解决中小商业搜索应用大量小应用运维Search as a service自助式使用搜索在线修改schema全流程索引自描述核心技术HBaseFree schemaRank formular解解决决之之道道O Op pe en nS Se ea ar rc ch h14感谢你的观看2019年9月21解决中小商业搜索应用解决之道OpenSearch14感谢业务的发展让一起问题回到原点：性能、容量、业务灵活性、集群运维能力等等譬如个性化。（TO BE Continue）搜索问题永无止境，谢谢！解解决决之之道道回回到到原原点点15感谢你的观看2019年9月21业务的发展让一起问题回到原点：性能、容量、业务灵活性、集群运16感谢你的观看2019年9月2116感谢你的观看2019年9月21