基于云计算的电子商务数据缓存处理的研究

基于云计算的电子商务数据缓存处理的研究 摘要：电子商务行业由于互联网技术的提高也得以迅速开展，但电子商务平台也面临处理大量数据的要求，而云计算的出现使电子商务得到新的开展，笔者为提高电子商务大数据处理的效率，探讨了基于云计算的电子商务数据缓存处理的方法。关键词：电子商务数据；数据缓存；云计算中图分类号：TP391文献标识码：A文章编号：1009-3044202123-0249-021引言随着互联网技术的开展，各种数据迅速膨胀，现已呈现出爆炸性增长趋势，大数据的影响已渗透到社会的各个层面。尤其在电子商务领域中，随着大数据的到来，而今已步入基于数据的时代。电子商务大数据伴随着消费者和企业的行为实时产生，而且电子商务数据类型种类很多，既包含消费者交易信息、消费者根本信息、消费者评价信息、消费者搜索浏览行为信息、消费者的所处地理位置信息，同时还有企业的产品信息与交易信息等。而如何管理这些大量信息，将对电子商务的开展起着至关重要的影响，当前流行的数据管理技术是云计算技术，它能够很好地解决电子商务面临的数据管理问题。2电子商务数据的特点电子商务数据主要有以下特点：1电子商务数据类型多种多样。数据类型可分为：以消费者根本信息、交易信息、订单信息、物流信息等结构化的数据；以网页数据、商品图片及对应的商品文本描述的小文件；以网络日志、视频文件、备份数据及索引文件等大文件。而这种非结构化的数据使得信息更复杂的、更多样性，与之相伴的是对数据管理增加了难度。2交易数据量大。艾瑞咨询统计数据显示，2021Q3中国电子商务市场整体交易规模为3.93万亿元，同比增长17.3%？，环比增长4.8%。中国中小企业B2B运营商平台营收规模为51.4亿元，同比增长3.0%。以阿里巴巴为例，根据阿里巴巴旗下淘宝网的数据显示，每天活泼数据量已经超过50TB。企业与用户双方买卖的交易信息，客户大量搜索、浏览、评价行为信息已构成了淘宝网的数据产生来源。所以电子商务数据管理面临的最突出问题就是海量数据。3图片数据。企业采用图片是为了能更好地展示商品，这些图片不能重复使用的，这就产生了大量的图片数据。4重复数据。在同一个商店中，有很多页面不同，但是css、swf等文件可能相同，甚至可能存在不同商店的这些文件也是相同的，所以网站中包含了重复的html、css、script、swf文件数据。3云计算的相关技术云计算是多种技术深入开展和融合的产物，即是分布式计算、并行计算及网络计算的融合，是一种新兴的商业计算模式，它将计算从用户终端集中到“云端，通过互联网连接在一起的计算机终端设备虚拟为一个整体，实现逻辑上的连接，其采用动态的、可扩充的、经过虚拟化的方式处理资源及进行计算，其强大的存储及交互能力大大提高。分布式存储技术是云计算的一个核心技术之一。是解决海量数据存储和快速处理问题的一种技术，在信息量爆炸的今天，这一点至关重要。其分布式的架构可以让多达百万台的廉价计算机协同工作，将数据存储在不同的物理设备中。分布式存储不同于传统的网络存储，传统的网络存储系统是将所有数据存放在集中的存储效劳器中，这种存储方式使得效劳器存储负荷过重，存储效劳器成为系统性能的瓶颈，难以解决大规模存储的需要。而分布式网络存储系统采用可扩展的系统结构，数据分散存储在多台存储效劳器中，分担存储负荷，这种存储方式提高了系统的可靠性和可用性，能够快速响应用户需求的变化，提高存取速度。许多web应用将数据保存在关系型数据管理系统中，应用效劳器从中读取数据并在浏览器中显示。但随着电子商务平台数据量的增大，用户集中访问平台，以致出现数据库负担加重、响应恶化、网站显示延迟等现象。memcached用于动态web应用以减轻数据库负载，需要被缓存的对象或数据以key/value对的形式保存在效劳器端，每个被缓存的对象或数据都有唯一的标识符key，存取操作通过这个key进行。保存到Memcached中的对象或数据放置在内存中，并不会作为文件存储在磁盘上，所以存取速度非常快。通过在内存中缓存数据和对象减少读取数据库的次数，从而提高动态、数据库驱动网站的速度。4电子商务数据缓存处理技术电子商务网站信息组织主要涉及两个层次，第一层次：以html文件、CSS文件、脚本为主的网页数据；以动画文件、图片文件、视频文件为主的超媒体数据；以索引文件、日志文件为主的文件数据；以用户的信息、订单等为主的数据库数据。第二层次是对第一层次数据的再组织，对应于商品目录和搜索引擎接口，以帮助用户更快地找到适宜的搜索引擎、目录指南或指示数据库等。图1为电子商务数据逻辑图。在WEB效劳器的前端增加反向效劳器代理，作为WEB效劳器的内容缓存区。因为电子商务网站中有大量的网页数据，如html、图片及script语言，当用户提出访问请求时，首先将用户请求送到的前端页面缓存，如果在代理效劳器上有用户请求的缓冲内容，代理效劳器直接将缓冲内容发送给用户。如果代理效劳器没有用户请求的缓冲内容，那么先向WEB效劳器发出请求，取回数据后先本地缓存再发送给用户。这样用户请求将被发送到反向代理效劳器，由反向代理效劳器负责处理用户的请求与应答、与后台WEB效劳器交互，这种方式减少了向WEB效劳器的请求数，因而降低了WEB效劳器的负载，提高了访问速度。其结构图如2。在电子商务网站中，在同一个商店中，有很多页面不同，但是css、swf、script等文件可能相同，甚至可能存在不同商店的这些文件也是相同的，这是一个重复利用的问题，在这种情况下，下载页面只需要刷新局部页面即可。ESI技术可以很好地解决了这一问题，它是一种基于XML的标记语言，使其用来做动态页面中相对静态的片段局部的缓存，可以通过ESI标记，区分出页面的静态局部和需要动态更新的页面片段，最后组装在一起显示。在电子商务网站中，对于热点资源是要频繁查询数据库，使用memcached缓存技术与mysql磁盘数据库相结合可以解决数据库的压力。memcached效劳器作为数据库的前端，其中存放用户经常访问的热点资源，如用户查询热点问题已存在，那么将相应的数据直接取出找对象给用户，如果不存在，那么查询mysql数据库，在结果返回给用户的同时，并以key相应的value值形式将查询结果同步到memcached缓存效劳器。如图3所示。5结束语本文首先介绍了电子商务大数据的开展概况，分析了电子商务数据的特点及数据逻辑模型，阐述了解决电子商务大规模数据处理的云计算的相关技术，提出了基于云计算技术电子商务数据组织过程中数据缓存的方法。参考文献：【1】米仁沙艾尼.云计算在电子商务中的应用研究J.电脑知识与技术，202112.【2】白亚鲁.云计算环境下大规模数据处理的研究J.软件，20215：128-129.【3】王振.基于Hadoop的大数据处理关键技术研究M.南京邮电大学，20212【4】董旭.数据库集群技术浅析J.邮电设计技术，202110.