海量信令数据共享的关键问题和解决.ppt

海量信令数据共享的关键问题和解决,海量数据共享平台的技术挑战,大规模数据并发实时处理的能力（大规模关联计算能力）达到P级的数据存储和快速访问能力（传统数据库承载不了）硬件机器群的支持和规划开发新应用的灵活性,应用对信令数据平台处理能力的需求存在三个不同级别,实时（10us10ms）,如语音监听,准实时（10ms10s），如手机定位,非实时（10s）,如营销数据挖掘,智能采集硬件实现无损信令解析,。充分利用采集侧硬件已有资源。降低了对信令处理服务机群的压力和依赖。能在L3上实现无损压缩，算法平均压缩率在8倍左右。从底层支持实时类应用（标签）,核心技术之一分布式海量存储文件系统,基于开源内核的海量数据库的底层支持稳定，冗余，经过超过8年的业界应用验证比传统的FS集群文件系统更具可伸缩性优势,核心技术之二分布式海量数据库,。基于C，兼容linux,bsd,unix。基于列存储，适合不断追加应用标签。Write-OnceRead-Many。类SQL的自定义查询语言。查询引擎是分布式，性能能随机器数量接近线性增长。实际最大集群例子：20P数据，5000个节点,核心技术之三分布式高速消息队列,。基于内核优化（RealTimeLinux）的实时消息队列服务。支持生产者消费者模式（实时）。支持主题定阅者模式（准实时）。在万兆网（10Gb）上实现最小40us的end-to-end延迟(512bit大小)。在4路opturon服务器上能实现10M包秒的吞吐量（100bit）,核心技术之四关联计算用的分布式内存数据库,。基于高速哈希表和优化B+树算法。基于（key,value）对的键值查找算法。基于分布式内存数据库模式。可用于加速包括用户识别，位置识别等等实际需要的应用标签过程,部分数据处理底层技术案例,。大话西游1游戏服务器后台架构。垂直行业数据搜索分发引擎（客户是国外IC行业龙头CorpTools）,Thankyou!,谢谢各位的聆听！,