上证所Level2行情接口开发课件

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,上证所Level-2行情接口开发,高昀,主要内容,Level-2产品介绍,Level-2系统接入,Level-2数据解码,一、Level-2 产品介绍,Level-1行情的不足,Level-1行情Show2019.dbf不足之处,内容,信息量少，市场深度反映不够Show2019只有29个有效字段,实时信息产品单一 Show2019 为仅有的实时行情产品,按同一模式显示不同的交易品种显示债券、基金信息时出现“市盈率”字段名,技术,5秒钟一次的快照，文件交换方式，发布延时明显,信息内容可扩展性差dbf文件是固定字段，只能通过增加数据库字段方式来增加信息内容,从Level-1到Level-2,商业模式：“免费”-收费,发布路径：券商-信息商,行情深度：五档-十挡，新增委托明细和全部成交信息,行情频率：5秒-3秒,数据格式：dbf-FIX/STEP-FAST,交换方式：文件-文本数据流-二进制数据流,行情延时：3秒-28毫秒-20毫秒,Level-2内容,Reference Data(UA101),Transaction(UA3101),Market Data(UA3102,UA3113),Order Queue(UA3111),行情展示,Order Queue(UA3111),Market Data(UA3102),Transaction(UA3111),二、Level-2系统接入,SSE to Vendor Connection,VDE(Vendor,Data Engine),VSS(Vendor,Supplies System),VDE to VSS Connection,Daily Procedure,三、Level-2 FAST数据解码,Level-2 FAST,的介绍,F,IX,A,dapted for,St,reaming(FAST),为解决FIX协议传输市场数据存在冗余度高，带宽需求大的问题,芝加哥商品交易所于2019年11月17日向FPL提交了一个隐示标记(Implicit tags)方案,FPL于2019年12月27日宣布成立市场数据优化工作组(MDOWG,Market Data Optimization Working Group).,2019年5月开始MDOWG根据一系列POC的结果，开始进行协议标准制定,2019年初完成FAST（FIX Adapted for STreaming）V1.0,2019年12月完成FAST V1.1,Level-2 FAST,的介绍,中国证券市场的特点,1.2亿交易帐户,较高的换手率，上海证券交易所日交易金额峰值超过3000亿，成交笔数超过4000万,市场数据的发展趋势和挑战,产品越来越多、挂牌证券数量越来越大,更多的价格档位、更多的市场深度,更少的延时,Level-2 FAST,的介绍,STEP协议的优缺点,基于FIX，已成为事实上的证券数据标准,语法简单，定义灵活，易扩展,数据相对冗余,STEP.1.0.0,9,r,青岛啤酒,48600600,448.520,381000,20190703-09：35：28,11825,10157,STEP 的冗余,平均每条消息长度为467字节,FAST编码后为127,字节,平均每条消息长度为160字节,FAST编码后为25字节,Level-2 FAST,的介绍,FAST的技术优势,高压缩比(70-80%),低资源消耗,算法简单,效率高,每秒百万级别消息的处理能力,FAST系统测试结果,带宽利用率与,STEP,系统对比测试结果比较,测试结果：,FAST版本,最大值为0.679Mbps；,平均值为0.162Mbps,STEP版本,最大值为2.23Mbps；,平均值为0.668Mbps,FAST版本平均值为STEP版本的24.2%,FAST关键技术,Field Encoding,隐式标签（Implicit Tag）(模版 Template),提供消息层面的优化,操作符（Operator）,消息层面和tag层面的优化,Transfer Encoding,二进制数据流,Presence Map(PMAP),Stop Bit Encoded Entities,Field EncodingImplicit Tag,Implicit tag,将FIX的tag=value格式进行分离，变成消息模板和消息内容。,消息模板在双方通信之前就确定，实际只需要传输消息内容,Field Encoding,常用数据类型,Data type,Description,string,String data type,int32,integer data type,int64,long data type,sequence,repeating group,Field Encoding,Field Encoding Operator,Entry,Description,Constant,Constant value,Default,Default value if not specified,Copy,Copy previous value if not specified,Increment,Increment previous value if not specified,Delta,Delta value from previous value,Tail,Tail value from previous value,Field Encoding Operator,Constant Value,用途：主要用于表示模板中的固定数据,constant value,value in stream,output value,“VALUE”,N/A,“VALUE”,Field Encoding Operator,Default Value,用途：主要用于表示默认值,default value,value in stream,output value,“VALUE”,N/A,“VALUE”,“VALUE”,“HELLO”,“HELLO”,Field Encoding Operator,Copy Value,用途：主要用于表达相邻数据相同的情况,previous value,value in stream,output value,“VALUE”,N/A,“VALUE”,“VALUE”,“HELLO”,“HELLO”,Field Encoding Operator,Increment Value,用途：主要用于表示前后数据有规律的递增的情况,previous value,value in stream,output value,5,N/A,6,5,10,10,Field Encoding,Field Encoding-Template,定义和语法，包括：,Field（Message Structure）,Field Encoding Operator,Data Type,如何表示：,XML语言,Field Encoding-Template,XML格式的模板示例,Structure,Data Types,Field Operators,Transfer Encoding,对FIX数据实现二进制Byte/Bit Level优化,根据模板生成数据流，并且同步进行压缩的协议,本身具有通用性，是一个与具体的应用无关的协议。,Transfer Encoding,stream:=message*|block*,block:=,BlockSize,message+,message:=segment,segment:=,PresenceMap TemplateIdentifier,?(field|segment)*,field:=integer|string|delta|,ScaledNumber,|,ByteVector,integer:=,UnsignedInteger,|,SignedInteger,string:=,ASCIIString,|,UnicodeString,delta:=,IntegerDelta,|,ScaledNumberDelta,|,ASCIIStringDelta,|,ByteVectorDelta,Transfer Encoding-Stop Bit,最高比特位,0：下一个字节属于同一个实体,1：下一个字节不属于同一个实体,编码举例：,Transfer Encoding-,Presence Map,在每一条消息的开头处增加标志串(BYTE 数组),每一个Bit标示后面的各个field存在与否，1存在，0不存在,不用传送的field不用进行编码，减少了数据量,Transfer Encoding-,Presence Map,Presence Map Bit in Required,Operator,Mandatory,Optional,None,No,No,default,Yes,Yes,constant,No,Yes*,copy,Yes,Yes,increment,Yes,Yes,Presence Map and NULL,NULL一般用来指示这一field没有出现（absent）,Operator,Presence,Occupy,使用NULL,None,Mandatory,no,Optional,no,yes,constant,Mandatory,no,Optional,yes,Default,copy,Mandatory,yes,increment,Optional,yes,yes,Data Type Example,uInt32 ExampleOptional Number,如何解析Level-2 FAST 的消息,VSS,1 Initial,2,ReadTemplates,3 Connect VDE,4 Logon,5 Receive Data,6,Decode,7 业务处理,8 数据存储和转发,FAST的实现过程,UA3101的解码实例,PMAP 5F E0 1011111 1110000010111111100000,TID,占位,=118 9d 11000 100111011100000111013101,不占位,UA3101,占位,=0,占位,=1 8110000001 000000011,10115,占位,=1 8610000110 000001106,UA3101的解码实例,占位,=1 36 30 31 37 36 B6 601766,占位,=1 04 34 4A 83 100 0110100 1001010 0000011 9250051 9250050,占位,=129 83 101001 0000011525152505.250,占位,=11E 42 A1 11110 1000010 0100001 500001 500000 500.000,10016,占位,=1 00 7D 15 5D A1 1111101 0010101 1011101 0100001 262500001 262500000 2625.00000,35=UA3101|10011=1|10115=6|48=601766|10013=9250050|10014=5.250|10015=500.000|10016=2625.000|,谢 谢,