资源描述
,#,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,#,PPT NAME,2007,年,01,月,01,日,利用新硬件提升数据库性能,淘宝核心系统数据库组 余锋,新浪微博：,淘宝褚霸,2012-07-07,Agenda,数据库软硬件发展趋势,CPU,内存,磁盘,网络,2,数据库,百万,TPS,不再稀罕！,3,MemSQL,4,MemSQL 1.2 million inserts/second on a 64-core, 1/2 TB of RAM machine,MySQL Cluster,5,MySQL Cluster 7.2 achieves 4.3BN reads per minute with 30 data nodes,2-socket servers using X5670 with Infiniband interconnect and 48GB of memory per machine,硬件发展迅猛,8 Xeon 7540 CPU,，,96,逻辑,CPU,512 GB DDR3,600G SSD *12,万兆网卡,6,文艺青年的装备,2 E5-2420 CPU,，,24,逻辑,CPU,96,GB DDR3,600G SSD *8,千,兆网卡,普通青年的装备,平衡系统,计算,CPU,数据流,磁盘,网卡,内存,7,存储成本,/,性能,8,CPU,内存,Flash,卡,SSD,硬盘,容量,成本,/,性能,性能必知数字,9,L1 cache reference 0.5 ns,Branch mispredict 5 ns,L2 cache reference 7 ns,Mutex lock/unlock 25 ns,Main memory reference 100 ns,Compress 1K bytes with Zippy 3,000 ns,Send 2K bytes over 1 Gbps network 20,000 ns,Read 1 MB sequentially from memory 250,000 ns,Round trip within same datacenter 500,000 ns,Disk seek 10,000,000 ns,Read 1 MB sequentially from disk 20,000,000 ns,Send packet CA-Netherlands-CA 150,000,000 ns,Agenda,数据库软硬件发展趋势,CPU,内存,磁盘,网络,10,CPU Scalability,11,CPU Scalability,12,CPU Scalability,13,Cache,和主存吞吐量,14,Cache,和主存延时,15,多核性能恶化原因,16,Sandy Bridge-E,17,SNB-E,对数据库更友好,6,个,CORE,，计算力强,4,个,DDR,内存通道，,2,个,QPI,互联，内存带宽足,内置,PCI-E,通道，,IO,能力强,更大的,L3,，,Cache,更高效,18,Agenda,数据库软硬件发展趋势,CPU,内存,磁盘,网络,19,内存和外存的差距,20,毫秒,纳秒,内存和数据集,21,数据集超过内存,内存选择,来者不拒，越多越好,成本考虑，装下最热数据集,百,G,以上不奇怪,22,Agenda,数据库软硬件发展趋势,CPU,内存,磁盘,网络,23,数据库,IO,模式,日志文件顺序,IO,，落地为要,引擎尽最大努力把脏数据转变成顺序,IO,引擎不同，数据结构不同， 差距很大,历史原因，传统数据库基于,IO,设计，最大内存也避免不了,IO,24,混合存储模型,非易失内存,Flash,硬盘,25,Raid,卡,26,PCIe,2.0,x8,Support Up to 128 SATA Devices,Dual Core ROC,1GB cache,SSD,27,Flash,卡,28,PCIe 2.0,x8,850 MB/s (4KB),220,000,IOPS (4KB),PCIe 2.0,x4,ioDrive IOPS: with Flash,140,000,Read IOPS,135,000,Write IOPS,非易失内存,29,PCIe 1.1,x4,4K Block Writes:,165,000 IOPS,4K Block Reads:,185,000 IOPS,DDR3 Non-Volatile DIMM 8G,Agenda,数据库软硬件发展趋势,CPU,内存,磁盘,网络,30,千兆网卡性能表现,31,网卡选择,网卡,Bonding,更大吞吐量,万兆网卡,百万以上,PPS,CPU,负担更小,更小延时,32,提问时间,谢谢大家！,33,部分图片粘贴自,Google,搜索，谢谢,Google,！,部分数据参考自,Percona,谢谢那些可爱的人！,
展开阅读全文