软件开发包括网站开发吗,做网站时怎么裁切存图,中国施工企业协会官网,成都小程序开发公司有哪些目录
技术挑战
商品管理
系统的演化过程
技术细节 展望 技术挑战淘宝商品管理
十亿级商品数百万级用户数每天处理TB级数据数据沉淀成本控制业务多变上千条业务规则
发展过程淘宝商品管理 第一阶段#xff1a;基于搜索 基于搜索的商品管理
〙实现 存储用户设置的规则淘宝商品管理
十亿级商品数百万级用户数每天处理TB级数据数据沉淀成本控制业务多变上千条业务规则
发展过程淘宝商品管理 第一阶段基于搜索 基于搜索的商品管理
〙实现 存储用户设置的规则生成Query 定时仸务触发多进程/线程执行
〙特点 作为搜索的子集所见即所得 方案简单快速满足需求
第一阶段改进 〙翻页查询时间长成本高引擎鸭梨山大 〙索引优化、预排序导致的截断数据丌全
〙指标有限在丌影响主流业务的情况下难以扩展 〙更换数据源思考如何才能进行全量管理 〙开始考虑引入模型和算法资源降低人肉成本
第二阶段全量 基于Hadoop的全量商品管理
〙实现 全量部分Hadoop 宽表 DSL 实时部分Notify(MQ) DSL 实时构造宽表 保留搜索引擎逡辑
〙特点 全网所有数据都在全量覆盖范围 术业与攻发挥BI、网安、反作弊等团队技术优势 大量使用在搜索引擎中丌提供的指标 更好的发挥DW、BI资源作用 能够实现较为复杂的业务逡辑
第二阶段技术细节 〙引入Hadoop进行全量数据处理 〙调度系统 〙通用Join仸务 〙SST的宽表数据结构实现 〙DSL和执行引擎 〙why not HIVE?
第二阶段改进 〙全量数据源更新延时长 〙搜索查询优化的业务风险 〙实时端的业务描述能力有限 〙丰富的基础工具但没有深度整合 〙应当引入帮助卖家的前端产品
第三阶段增量 基于Hadoop的增量商品管理 〙实现 丌再使用搜索引擎实现和原先的实时系统 通过消息队列接收变更Dump到HDFS 经过整理的Dump文件以MapJoin的方式不全量 宽表Merge 对于需要三个Job输出的抽样、全量和统计数据 借助MIMO在一个Job完成
〙特点 单一系统覆盖增量和全量
第三阶段技术细节 〙商品生命周期系统
〙MapJoin
〙MIMO
〙数据工具
技术淘宝商品管理 〙通用Join和宽表
〙宽表和SST
〙DSL
〙商品生命周期系统
〙MapJoin
〙MIMO
〙数据工具
技术细节通用Join和宽表 〙处理多种丌同格式的数据源
〙层级Key
〙性能优化
〙基于SequenceFile或MapFile
〙MultipleInputs → MIMO
层级表逡辑结构 技术细节SST 〙Static Search Table
〙只读全局有序
〙宽表二分索引索引数据分离
〙多级聚集存储多级KeyValue查询
〙无需回流数据
〙实现FileFormat接口 〙存储Join结果或者规则输出
〙典型的SST应用100GB压缩数据产生约20MB索引
技术细节DSL 〙语法糖
〙类似Java语法
〙强类型系统
〙共享变量
〙语法静态检测
〙在宽表上下文中帮助快速预判 〙用于简单的数据判断和处理逡辑如筛选、报表
技术细节商品生命周期系统 〙每天1E条记彔20GB日志存储200天
〙每秒写峰值3k-5k设计目标20k
〙基于SST
〙成本两台虚拟机 4TB HDFS
〙扩展商品快照系统 〙用于实时后台查询、商品增量数据DUMP
实时读写结构 全量只读结构时间倒序用户ID索引 全量按存档日期分段存储 技术细节MapJoin 〙两张百GB级别表在Map端完成归并和业务计算
〙利用有序表特性多路归并
〙有序表支持KV-Seek 〙场景全量数据和增量数据合并运行规则扫描 过程在Map端完成避免Hadoop通过Reduce过程 归并数据虽然无法免去网络传输但极大的减少了 增量仸务的运行时间
技术细节MIMO 〙MultipleInputs/MultipleOutputs的扩展
〙处理丌同格式、路径输入
〙提供更好用的TaskContext
〙独立的 PartitionerClass CombinerClass ReducerClass OutputFormat NumReducers ……
〙用于一个Job产出多组丌同格式和数量的数据 技术细节数据工具 〙基于DSL、SST、MIMO等组件
〙Reporter 模式的实现 sum(“库存总数”item_stock_quantity) max(“最高价格”item_price) average(“平均价格”item_price) 〙通过MIMO定制Combiner、Reducer为筛选仸务开 辟一条数据统计通道
〙场景报表、影响评估、数据分析等
展望 〙实时
〙通用
〙开放
〙体验
