全国职业院校技能大赛.doc

2019年全国职业院校技能大赛赛项规程一、赛项名称赛项编号：GZ-2019032赛项名称：大数据技术与应用英文名称：Big Data Tech no logy And Applicati on赛项组别：咼职组赛项归属：电子信息大类二、竞赛目的为贯彻落实国务院发布的促进大数据发展行动纲要和工业和信息化部发布 的大数据产业发展规划(2016-2020年)。加快实 施国家大数据战略，推动大 数据产业健康快速发展，针对高职大数据技术与应用”专业建设和发展的需求，通过引入大数据各个环节的实际应用场 景，全面考察高职学生大数据技术基础、软件幵发相尖技术、Hadoop及其生态组件 部署与管理、数据采集、数据清洗、数据分析和数据可视化等前沿的知识、技术技 能以及职业素养和团队协作能力。赛项围绕大数据产业各个岗位的实际需求和要求进行设计，通过大赛搭建校企合作的平台，深化产教融合，推进产教融合人才培养模式，提升大数 据技术与应用专业及其他相尖专业毕业生能力，同时大赛促进相尖教材、资源、师资、认证、实习就业等全面建设，推动院校和企业联合 培养大数据人才，加强学校教育与产业发展的有效衔接，促进职业院校信息类相矢 专业共同发展，为国家战略规划提供大数据领域的高素质技能型人才。三、竞赛内容赛项以大数据技术与应用为核心内容，重点考查参赛选手基于Hadoop平台环 境下，利用Hadoop技术生态组件，综合软件开发相尖技术，解决实际问题的能 力，具体包括：1. 掌握按照项目需求配置管理Hadoop大数据平台及相尖生态组件；2. 掌握企业常用采集工具和网络爬虫的相矢技术，完成指定数据的采集及处理能 力；3. 综合利用MapReduce Spark、Storm等技术、分布式存储系统、数据仓库Hive等工具，使用Java、Python等开发语言 完成数据清洗、存 储、转化、分析及数据推送等一系列大数据操作；4. 综合运用HTML CSS JavaScript、Python等幵发语言，对数据进行可视化呈 现；5. 根据数据可视化结果，完成数据分析报告的编写；6. 竞赛时长4小时，竞赛连续进行。竞赛内容构成如下：考核环节考核知识点和技能点描述Hadoop平台及组件的部署管理Hadoop平台安装部署和基本配胃Hadoop集群节点的动态增加与删除考察Hadoop平台及组 件的部署能力，掌握常 用的基本配置和命令， 能够部署和管理 Hadoop咼可用集群。Hadoop平台相尖组件部署与管理Hadoop平台的咼可用数据采集使用开发者工具查看网页源码，分析网 页结构，明确数据采集对象构建数据采集请求，抓取网络数据利用网 络爬虫相尖组件实现网络数据爬取考察学生多维度数据 采 集能力，包括对尖系型 数据库、非尖系型数据 库和网络爬虫技术 的应 用。规则文件数据和尖系型数据库数据抓取以 及数据同步非尖系型数据库数据抓取以及数据同步数据采集结果导出及数据库推送数据清洗与分析数据可视化基于Hadoop平台架构组件和多维度的数 据米集，实现数据一致性检杳、无效值和 缺省值的处理考祭对分布式计算、分多表数据合并和离群值处理通过常见的数据分析算法，对数据进行 标准化、离散化和二元化分析掌握数据仓库导入、导出，利用数据仓库 相尖命令或代码实现数据多维度、多层次 的分析布式存储系统、数据仓 库等综合应用能力，使 用 Java、Python 等开 发语言，完成数据清 洗、数据存储、数据转 化、数据分析、数据预 测及数据推送等一系列 数据操作通过常见的数据可视化 方法，将数据分析结果 以图表的形式进行 呈现，使用Python及 Web前端等编程语言， 实现数据源分析结果展 现对数据的查询、整理和计算。进行编译、 打包、发布，执行程序，完成数据处理、 清洗。实现不冋数据库间的文件传输及转换数据预测分析编写后台代码实现数据库访问和数据整理编写Web前端代码，对数据分析结果进 行呈现综合分析通过知识技能，根据数据分析、预测及可 视化结果进行分析，做出分析报告。考察学生对大数据技术 与分析的综合操作能力 和业务分析能力竞赛各阶段分值权重分布如下:主要涉及的知识和技能点分值权重Hadoop平台及组件的部署管理15%数据采集20%数据清洗与分析25%数据可视化20%综合分析15%团队分工明确合理、操作规范、文明竞赛5%四 竞赛方式1. 本赛项为团体赛，以院校为单位组队参赛，不得跨校组队。每支参赛队由3名选手（设队长1名）和不超过2名指导教师组成（指导教师为本校 专兼职教师）；2. 本赛项设单一场次，所有参赛队在现场根据给定的项目任务，在4小时内相互配 合，采用小组合作的形式完成赛项任务，最后以提交的截图和文档作为最终评分 依据；3. 不计参赛选手的个人成绩，统计竞赛队的总成绩进行排序；4. 本赛项拟邀请国际及港澳台的院校代表队参赛。五、竞赛流程根据竞赛任务要求，参赛队伍在4小时竞赛时间内须完成竞赛任务，参赛队伍 须按顺序完成各项任务，但每项任务用时可自行掌握。1 竞赛流程比赛農场检录二比W 延时三次加翹S议虑绩良苗2竞赛时间安排日期时间内容比赛前2日18:00之前裁判报到19:00 20:00裁判工作会议比赛前1日12:00之前各参赛队报到10:00 11:00工作人员（含监考）培训会15:30 16:00赛前领队会16:00 16:30参赛队熟悉比赛场地17:00 18:00现场裁判赛前检杳，封闭赛场比赛当日7:00 7:30参赛队集合前往比赛现场7:30 8:00开赛式8:00 8:10赛场检录8:10 8:20一次加密：参赛队抽取参赛编号8:20 8:30二次加密：参赛队抽取赛位号8:30 8:40参赛队进入比赛赛位，进行赛前软、硬件检杳、 题目发放8:40-12:40比赛12:40 13:00收取各参赛队赛题及比赛结果文档12:40 14:40申诉受理13:00 13:30三次加密：竞赛结果等文件加密13:30 21:00成绩评定与复核21:00 -22:00加密信息解密22:00 23:00成绩汇总，报送及公布比赛后1日9:00 10:00闭赛式X.Vvt八、兒费费卷本赛项赛题全部公开，公开方式为赛题库公开。赛项命题方向和 命题难度按照 2019年全国职业院校技能大赛制度汇编要求，结合大数据技能人才培养要求和 职业岗位需要，参照行业规范，设计技能操作赛题。本赛项建立赛题库，于开赛1个月前通过全国职业院校技能大赛指定的网络信 息发布平台公开赛题库。根据赛题库，按样卷的规定，编制10套正式赛题组建赛卷 库，且各赛卷内容重复率不高于 50%。赛卷库严格保密，不能公开。正式赛卷于比赛前三天内，把赛卷随机排序后，在监 督组的监督下，由裁判长指定相尖人员抽取正式赛卷与备用赛卷，并存放在承办院 校保密室中。保密室全程监控，并安排专人把守。比赛前1小时由两名裁判及比赛 监督员将赛题从保密室运往赛场。比赛完成后，参赛队不得将赛题带离赛场，由现场裁判对试题进行回收。比赛样卷与竞赛规程同步发布。竞赛样卷详见附件1： 2019年全国职业院校 技能大赛“大数据技术与应用”竞赛样卷七、竞赛规则1. 参赛队及参赛选手资格：参赛选手须为高职全日制在籍学生、本科院校中高职类 全日制在籍学生；五年制高职四、五年级学生。参赛选手年龄须不超过25周岁（年龄计算的截止时间以2019年5月1日为 准）。凡在往届全国职业院校技能大赛中获本赛项高职组一等奖的选手，不能再 参赛；2. 比赛场地通过抽签决定，比赛期间参赛选手原则上不得离开比赛场地；3. 竞赛所需的硬件、软件和辅助工具统一提供，参赛队不得使用自带的任何有存储功能的设备，如硬盘、光盘、U盘、手机、随身听等；4. 参赛队在赛前10分钟领取比赛任务并进入比赛赛位，比赛正式开始后方可进行 相矢操作。参赛队自行决定选手分工、工作程序；5. 在比赛过程中，参赛选手如有疑问，应举手示意，现场裁判应按要求及时予以答 疑。如遇设备或软件等故障，参赛选手应举手示意，现场裁判、技术人员等应及 时予以解决。确因计算机软件或硬件故障，致使操作无法继续的，经赛场裁判长 确认，予以启用备用设备；6. 比赛时间终了，选手应全体起立，结束操作。经工作人员查收清点所有文档后方 可离开赛场，离幵赛场时不得带走任何资料；7. 赛项裁判应严格遵守赛项各项规章制度，确保比赛公平、公正、公开。比赛当天 8:00起，赛项裁判应上交所有通信设备，由赛项执委会统一保管并安排赛项裁 判在指定区域休息或工作，直至赛项成绩评定结束；8. 比赛结束，经加密裁判对各参赛队提交的竞赛成果进行三次加密后，评分裁判方可入场进行成绩评判。竞赛成绩经复核无误后，由记分员将解密 后的各参赛队伍成绩汇总成比赛成绩，经裁判长、监督组签字后，在指定地点， 以纸质形式向全体参赛队进行公布。公布2小时无异议后，将赛项总成绩的最终 结果录入赛务管理系统，经裁判长、监督组长和仲裁长在系统导出成绩单上审核 签字 后，在闭赛式上宣布并颁发证书;9. 本赛项各参赛队最终成绩由承办单位信息员录入赛务管理系统。承办单位信息员 对成绩数据审核后，将赛务系统中录入的成绩导出打印，经赛项裁判长审核无误 后签字。承办单位信息员将裁判长确认的电子版赛项成绩信息上传赛务管理系 统，同时将裁判长签字的纸质打印成绩单报送大赛执委会；10. 赛项结束后专家工作组根据裁判判分情况，分析参赛选手在比赛过程中对各个知 识点、技术的掌握程度，并将分析报告报备大赛执委会办公室，执委会办公室根 据实际情况适时公布；11 赛项每个比赛环节裁判判分的原始材料和最终成绩等结果性材料 经监督组人员和 裁判长签字后装袋密封留档，并由赛项承办院校封存，委派专人妥善保管；12.其它未尽事宜，将在赛前向各领队做详细说明。八、竞赛环境竞赛现场设置场内竞赛区、现场裁判工作区、技术支持区等。监考人员协助裁判长和现场裁判做好负责赛位范围内的秩序维持，监考人员不 得在考场内随意走动。技术支持保障人员在技术支持服务区候场5的带领有需要时在现场裁判下 到相矢的赛位进行赛场技术支持保障，支持区可不设置 在条件具备时，技术 在 考场内。场内竞赛区为参赛队提供统一的竞赛设备；具及附 无需选手自带任何工 件。竞赛现场符合消防安全规定，现场消防器材和消防栓合格有效，应急照明设施 状态合格，赛场明显位置张贴紧急疏散图，赛场地面张贴荧光疏散指示箭头，赛场 出入口专人负责，随时保证安全通道的畅 通无阻。各赛位分区供电，强电弱电分开布线，现场临时用电满足施工 现场临时用电 安全技术规范JGJ46-2005的要求。竞赛现场通风良好、照明需符合教室采光规 范。每间竞赛赛位面积910川，以确保参赛队之间互不干扰。竞赛 赛位标明赛位 号，并配备竞赛平台和技术工作要求的软、硬件。环境标准要求保证赛场采光（大 于500IUX）、照明和通风良好，每支参赛队提供笔、纸张等工具，提供饮用水。九、技术规范本赛项的技术规范将包括：相矢专业的教育教学要求、行业、职业技术标准， 以及根据高职目录修订后的大数据技术与应用相尖专业人才培养标准和规范，适时 地修订本赛项遵循的技术规范。标准号/规范简称名称GB/T 11457-2006信息技术、软件工程术语GB8566-88计算机软件开发规范GB/T12991-2008信息技术数据库语言SQL第1部分：框架GB/T 21025-2007XML使用指南GB/T28821-1012尖系数据管理系统技术要求LD/T81.1-2006职业技能实训和鉴定设备技术规范2软件开发标准标准号/规范简称名称GB/T 8566 -2001信息技术软件生存周期过程GB/T 15853-1995软件支持环境GB/T 14079-1993软件维护指南GB/T 17544-1998信息技术软件包质量要求和测试1竞赛设备比赛器材、技术平台：新华三大数据竞赛管理系统(合作企业:新华三技术有限公司；品牌：H3C),技术平台软硬件设备组成如下:序号设备名称数量备注1服务器1支撑大数据竞赛管理系统运行使用。内嵌虚拟化资源管理控 制端，作为虚拟化资源管理系统的计算资源、网络资源和存 储资源的源节点。1、CPU 模块：223GHz2、内存模块:8*32GB3、硬盘模块：6*600GB SAS 10K4、网口 ： 4端口千兆电接口网卡-360T-B2LA . 4t-4-*2大数据竞 赛平台(H3C-ADEkvm-DT1系统基于kvm构建，口J模拟大数据环境拾建、大数据米集、 大数据预处理、大数据存储及管理、大数据分析及挖掘、大 数据展现和应用等贯穿大数据技术的相尖知识点，提供大数 据竞赛管理系统所需的虚拟服务器，结构化、半结构化及非 结构化数据的数据库等基础支撑环境；涵盖分布式虚拟存储 技术，大数据获取、存储、组织、分析和决策操作的可视化 技术。具体包括：Hadoop HDFS Hbase Hive、Map Reduce Kafka、Spark、Storm、Mahout、 MySQLEcharts等，所涉及开发语言包括Java、Python、 HTMLJavascript、R 等。3PC机3竞赛选手比赛使用。性能相当于i5处理器，8G以上内存，仃 B以上硬盘，显示器要求1024*768以上。4交换机11机架式交换机2端口 ：24 个 10/100/1000BaseTX 以太网端口 ；3. 速度:10/100/1 OOOBase ;4. 全千兆三层交换机，支持访问控制。备注：实际赛场需要的服务器、PC机和交换机数量取决于参赛队伍数量2通用软件和工具清单设备类型软件类别软件名称、版本号服务器集群大数据集群操作系统Cen tOS 7.4大数据分析平台组件Hadoop 2.6.0Yam 2.6.0Zookeeper 3.4.5Hive 1.1.0Flume 1.6.0Hbase 1.2Sqoop 1.4kafka 1.0Spark 2.0数据库MySQL 5.7开发客户端PC操作系统Windows 10 64 位浏览器Chrome开发语言Pyth on 3.6.4 64bitJava 8开发工具Pycharm 2019(Community Edition )IEAD 2019(Community Edition )eclipse-jee-oxyge nAnaeonda 3数据采集组件Requests 2.21.0数据可视化组件ECharts 4.0.4Xshell 6免费版Xftp6免费版文档编辑器Office 2007 以上输入法拼音输入法备注：根据实际业务环境配置版本间的兼容性卜成绩评定（一）评分标准制定原则1. 客观性结果评分，采用优先判断功能实现评分原则，依据功 能实现的状 态信息截图，判断功能项是否实现，如果未实现 功能，再按照配置步骤 命令进行给分；2. 三层加密原则。比赛过程采取三层加密，通过抽取参赛编号、赛位号和竞赛成果号，屏蔽参赛队信息，每个环节设置一名独立裁判，每个环节结束后，数据立即封存于裁判长，加密裁判直接隔 离，确保成绩评定公平、公正；3. 独立评分原则。根据裁判分工，负责相同模块评分工作的不同裁判采取 随机抽签独立评分，确保成绩评定严谨、客观、准确。裁判进行随机抽 签分组，杜绝主观意愿组队，各自完全独立评分，裁判员间互不干涉， 比赛监督人员可随机监督；4. 错误不传递原则。各环节分别计算得分，错误不传递，按规定比例计入团队总分；5. 抽查复核原则；（1 ） 为保障成绩评判的准确性，监督组对赛项总成绩排名前30%的所 有参赛队伍（选手）的成绩进行复核；对其余成绩进行抽检复核，抽检 覆盖率不得低于15% ；（2）监督组需将复检中发现的错误以书面方式及时告知裁判长，由裁判 长更正成绩并签字确认；（3）复核、抽检错误率超过5%的，则认定为非小概率事件，裁判组需 对所有成绩进行复核；6. 竞赛评分制定严格遵守公平、公正和公开的原则。赛项合作企业不得直接 或者间接地参与赛项评分；7. 在竞赛过程中，选手如有不服从裁判判决、扰乱赛场秩序、舞弊等不文明 行为，由裁判按照规定扣减相应分数并且给予警告，情节严重的取消竞赛 资格，竞赛成绩记0分，队员退出比赛现场。（二）评分细则任务考查点描述评分标准分值 （分）HadooP平台 及组件 的部署 管理（15分）组件、 配置、 管理按照Hadoop大数据平台部署要求完 成平台安装部署和基本配置，按要求 完成平台相尖组件的部署与管理，以 及集群节点的动态增删和高可用部 署。检杳平台进程运行状态，确定配 W rhtft 主要评分点包括Linux系 统基本操作、Hadoop平台 安装、相尖配置文件修 改、平台相尖组件部署、 集群节点的动态增删、平 台咼可用部署。15数据采集数据采 集代码按照要求完成数据米集代码的编与， 使得数据采集程序能够正常运主要评分点包括数据采集 请求构建、数据解析、20（20分）编写仃，将米集到的数据保存在扌曰疋格 式的路径下。数据存储、数据文件操 作。数据 清洗与 分析（25分）数据清 洗与分 析代码 编写完成对数据的查询、整理和计算。进 行编译、打包、发布，并在服务器上 执行程序完成数据清洗工作，将清洗 后的数据放置在指定路径下。将清洗后的数据加载到数据仓库后， 根据项目需求使用命令或代码，完成 数据分析查询，并将查询结果导出为 数据文件。主要评分点包括数据处理 代码编写、数据文件解析、构建数据 输出格式、打包发布、数 据清洗执行。数据仓库建库、建表、查 询等处理。25数据 可视化（20分）数据可视化代码编写通过编写后台数据访问代码完成数据 可视化后台开发，编写前端Web界面 实现数据分析结果可视化呈现。主要评分点包括可视化后 台代码开发、可视化前端 代码开发、前端展示。20综合分析（15分）文档编写根据项目要求，以数据可视化结果为 依据，得出数据分析结论，生成分析 报告并提交。主要评分点包括能够按照 赛项要求编写结论，能 够 按照要求提出正确的建 议。15职业素 养（5分）职业素 养团队分工明确合理、操作规范、文明主要评分点包括：竞赛团 队分工明确合理、操作规 范、文明竞赛。5（三）评分方法1 竞赛设置裁判28人，包括裁判长1名，裁判27名。其中加 密裁判3人，现场裁判4人，评分裁判20人；2. 竞赛采取三次加密。第一次加密裁判组织参赛队选手第一次抽签，抽取参赛编号，替代选手参赛证等个人信息；第二次加密裁判组织参赛选手进行第二次抽签，确定赛位号，替换选手参赛编号；第三次加密裁判对 各参赛队竞赛结果进行加密，替换赛位号。三次加密信息由不同加密裁 判密封后保管，在评分结束后进行解密并统计成绩；3. 裁判长正式提交评分结果并复核无误后，加密裁判在监督人员监督下进 行三层解密：竞赛结果编号到赛位号解密；赛位 号到参赛编号解密；参 赛编号到参赛队名称解密；4. 在竞赛过程中，参赛选手如有不服从裁判裁决、扰乱赛场秩序、舞弊等 行为的，由裁判长按照规定扣减相应分数，情节严重的将取消比赛资 格，比赛成绩计0分；5. 赛项成绩解密后汇总比赛成绩，经裁判长、监督组签字后，在指定地点 以纸质形式向全体参赛队公布。成绩无异议后，在闭赛式上予以宣布。6. 严格按照2019年全国职业院校技能大赛制度汇编的要求，本赛项 各参赛队最终成绩由承办单位信息员录入赛务管理系统。承办单位信息 员对成绩数据审核后，将赛务系统中录入的成绩导出打印，经赛项裁判长审核无误后签字。承办单位信息员将裁 判长确认的电子版赛项成绩信息上传赛务管理系统，同时将裁判长签字 的纸质打印成绩单报送大赛执委会。十二、奖项设定本赛项奖项设团体奖。设奖比例为：以赛项实际参赛队总数为基数，一、 二、三等奖获奖比例分别为10%、20%、30% （小数点后四舍五入）。获得一等奖的参赛队的指导教师获“优秀指导教师奖”。十三、赛场预案（一）应急安全预案比赛期间发生意外事故，发现者应第一时间报告赛项执委会，同时采取措施避免事态扩大。赛项执委会应立即启动预案予以解决并报告赛区执委会。赛项出现重大安全问题可以停赛，是否停赛由赛区执 委会决定。事后，赛区执委会应向大赛执委会报告详细情况。相尖应急预案如下表所示:突发事件预防措施事件发生后应对措施参赛选手发病或受伤在各赛位张贴安全操作说明。医务人员应采取紧急救护措 施，及时进行救治，如病情 或伤势严重，应及时送往 最 近医院进行救治。人员发生食物中毒比赛期间指定的住宿/餐饮场 地符合国家相尖资质要求。并 协调地方卫生部门做好检杳工 作。立即组织对中毒人员进行救 治，必要时送往最近医院 进 行检杳治疗。同时对可疑的 食品、饮水及其有尖原料、 工具设备和场所以及可能受 污染的区域采取保留、控制 措施，组织开展现场调 查， 迅速查明原因，并及时向大 赛执委会报告。设备损坏提前一天服务器全部运行；现 场划分备份组。参赛选手举手示意后，监考 人员计时，裁判确认后更换 备份组，并由主裁判确定应 计入延时时间。现场网络线缆 故障现场走线要规范，尽量走暗 槽 或现场人员接触不到的地 方； 对主要线路要在走线槽内留有 备线。启用备线。临时停电赛场需要双路供电和备用发电 机，确保单电源故障不会 影响 比赛供电线路互为备份，如出现 故障，切换线路，经裁判长 与赛项执委会商议统一延长 比赛时间；若双路电源均出 现故障，快速启用备用发 电 机发电，保证比赛正常运 行，经裁判长与赛项执委会 商议统一延长比赛相应时 间。（二）处罚措施1因参赛队伍原因造成重大安全事故的，取消其获奖资格;2. 参赛队伍有发生重大安全事故隐患，经赛场工作人员提示、警告无效的，可取消其继续比赛的资格；3. 赛事工作人员违规的，按照相应的制度追究责任。情节恶劣并造成重大安全事故的，由司法机尖追究相应法律责任。十四、赛项安全赛事安全是技能竞赛一切工作顺利开展的先决条件，是赛事筹备和运行工作 必须考虑的核心问题。赛项执委会采取切实有效措施保证大赛期间参赛选手、指 导教师、裁判员、工作人员及观众的人身安全。（一）组织机构1. 成立由赛项执委会主任为组长的赛项安全保障小组，成员包括承办院校 主抓安全的校领导、学生工作处、后勤处、保卫处、合作企业技术工程 师等相尖人员；2. 与地方行政、交通、司法、安全、消防、卫生、食品、质检等相尖部门 建立协调机制，制定应急预案，及时处置突发事件，保证比赛安全进 行。（二）比赛环境1 执委会须在赛前组织专人对比赛现场、住宿场所和交通保障进行考察， 并对安全工作提出明确要求。赛场的布置，赛场内的器材、设备，应符 合国家有尖安全规定。如有必要，也可进行赛场仿真模拟测试，以发现 可能出现的问题。承办单位赛前须按照执委会要求排除安全隐患；2. 严格控制与参赛无尖的易燃易爆以及各类危险品进入比赛场地，不许随便携带书包进入赛场；3. 配备先进的仪器，防止有人利用电磁波干扰比赛秩序。大赛现场需对赛 场进行网络安全控制，以免场内外信息交互，充分体现大赛的严肃、公 平和公正性；4. 大赛期间，承办单位须在赛场管理的尖键岗位，增加力量，建立安全管 理日志，在赛场圭寸闭后至竞赛结束前对所有比赛场地进行监控，并将 监控视频保留3个月，防止人为损坏大赛设备影响比赛正常进行。（三）生活条件1. 比赛期间，原则上由执委会统一安排参赛选手和指导教师食宿。承办单 位须尊重少数民族的信仰及文化，根据国家相尖的民族政策，安排好少 数民族选手和教师的饮食起居；2. 比赛期间安排的住宿地应具有宾馆/住宿经营许可资质。以学校宿舍作为 住宿地的，大赛期间的住宿、卫生、饮食安全等由执委会和提供宿舍的 学校共同负责；3. 各赛项的安全管理，除了可以采取必要的安全隔离措施外，应严格遵守 国家相尖法律法规，保护个人隐私和人身自由；4. 赛项所有裁判与参赛队住宿须在不同酒店。在竞赛日当天早8点，由竞赛执委会工作人员收缴裁判所有通信设备，直至竞赛成绩发 布后再归还裁判；5. 竞赛期间，除现场裁判外，其余裁判由竞赛执委会统一安排休息场所。 在此期间，裁判人员不得随意出入，避免与参赛队代表取得联系。（四）组队责任1. 各学校组织代表队时，须安排为参赛选手购买大赛期间的人身意外伤害 保险；2. 各学校代表队组成后，须制定相尖管理制度，并对所有选手、指导教师进行安全教育;3. 各参赛队伍须加强对参与比赛人员的安全管理，实现与赛场安全管理的 对接。（五）应急处理比赛期间发生意外事故，发现者应第一时间报告赛项执委会，同时采取措 施避免事态扩大。赛项执委会应立即启动预案予以解决并报告赛区执委会。赛项 出现重大安全问题可以停赛，是否停赛由赛区执委会决定。事后，赛区执委会应 向大赛执委会报告详细情况。十五、竞赛须知（一）参赛队须知1 参赛队名称：统一使用规定的学校代表队名称，不使用其他组织、团体 的名称；2. 参赛队组成：每支参赛队由3名参赛选手组成，须为同校在籍学生，其中队长1名。每支参赛队可配2名指导教师，指导教师须为 本校专兼职教师。不接受跨校组队，同一学校报名参赛队不超过1支；3. 各参赛院校应指定1名负责人任赛项领队，全权负责该校参赛事务的组 织、协调和领导工作；4. 参赛选手及指导教师在报名获得确认后，原则上不再更换。如在筹备过程中，参赛选手和指导教师因故不能参赛，须由其所在学校 供职部门于赛项开赛前10个工作日之前出具书面说明，经大赛执委会 办公室核实后予以更换。允许队员缺席比赛；允许指导教师缺席比赛；5. 参赛队按照大赛赛程安排，凭赛项执委会颁发的参赛证、有效身份证件 和学生证参加比赛及相尖活动；6. 赛项执委会统一安排各参赛队在比赛前一天进入赛场熟悉环境和设施情 况；7. 参赛队选手、领队和指导教师要有良好的职业道德，严格遵守比赛规则 和比赛纪律，服从裁判，尊重裁判和赛场工作人员，自觉维护赛场秩 序；8. 领队应负责赛事活动期间本队所有选手的人身及财产安全，如发现意外 事故，应及时向赛项执委会报告；9. 各学校组织代表队时，须为参赛选手购买大赛期间的人身意外伤害保险；10对于有碍比赛公正和比赛正常进行的参赛队，视其情节轻重，按照全 国职业院校技能大赛奖惩办法给予警告、取消比赛成绩、通报批评等 处理。其中，对于比赛过程及有尖活动造成重大影响的，以适当方式通 告参赛院校或其所属地区的教育行政主管部门依据有矢规定给予行政或 纪律处分，同时停止该院校参加全国职业院校技能大赛1年。涉及刑事 犯罪的移交司法机尖处理。（二）领队和指导教师须知1 严格遵守赛场的各项规定，服从裁判，文明竞赛。如发现弄虚作假者，取消参赛资格，名次无效；2. 领队和指导教师务必带好有效身份证件，在活动过程中佩戴“指导教师证”参加竞赛相尖活动；3. 各代表队领队要坚决执行竞赛的各项规定，加强对参赛人员的管理，做 好赛前准备工作，督促选手带好证件等竞赛相矢材料；4. 在比赛期间要严格遵守比赛规则，不得私自接触裁判人员；5. 竞赛过程中，未经裁判许可，领队、指导教师及其他人员一律不得进入竞赛现场；6. 如对竞赛过程有疑议，由领队和指导教师负责以书面形式向大赛仲裁委 员会反映，但不得影响竞赛进行；7. 对申诉的仲裁结果，领队要带头服从和执行，并做好选手工作。参赛选 手不得因申诉或对处理意见不服而停止竞赛，否则以弃权处理；8. 领队和指导老师应及时查看有矢赛项的通知和内容，认真研究和掌握本 赛项竞赛的规程、技术规范和赛场要求，指导选手做好赛前的一切技术 准备和竞赛准备。（三）参赛选手须知1 参赛选手应严格遵守赛场规章、操作规程和工艺准则，保证人身及设备安全，接受裁判员的监督和警示，文明竞赛；2. 参赛选手应按照规定时间抵达赛场，凭身份证、学生证，以及统一发放 的参赛证，完成入场检录、抽签确定竞赛赛位号，不得迟到早退；3. 参赛选手凭竞赛赛位号进入赛场，不允许携带任何电子设备及其他资 料、用品；4. 参赛选手应在规定的时间段进入赛场，认真核对竞赛赛位号，在指定位置就座；5. 参赛选手入场后，迅速确认竞赛环境状况，填写相矢确认文件，并由参 赛队长确认签字（竞赛赛位号）；6. 参赛选手在收到开赛信号前不得启动操作。在竞赛过程中，确因计算机 软件或硬件故障，致使操作无法继续的，经项目裁判长确认，予以启用 备用计算机；7. 赛项任务书及相矢资料，均保存在竞赛环境的“大赛资料”中。参赛选 手应在竞赛规定时间内完成任务书内容，并按照要求，将相应文档按要 求进行提交;8. 参赛选手需及时保存工作记录。对于因各种原因造成的数据丢失，由参 赛选手自行负责；9. 参赛队所提交的答卷采用竞赛赛位号进行标识，不得出现地名、校名、 姓名、参赛证编号等信息，否则取消竞赛成绩；10. 竞赛过程中，因严重操作失误或安全事故不能进行比赛的(例如因操作原因发生短路导致赛场断电的、造成设备不能正常工作的)，现场裁判员有权中止该队比赛；门在比赛中如遇非人为因素造成的设备故障，经裁判确认后，可向裁判长 申请补足排除故障的时间；12. 参赛选手不得因各种原因提前结束比赛。如确因不可抗因素需要离开赛 场的，须向现场裁判员举手示意，经裁判员许可并完成记录后，方可离 开。凡在竞赛期间内提前离开的选手，不得返回赛场；13. 竞赛时间结束，选手应全体起立，停止操作。将资料和工具整齐摆放在 操作平台上，经工作人员清点后可离开赛场，离开赛场时不得带走任何 资料；14. 在竞赛期间，未经执委会批准，参赛选手不得接受其他单位和个人进行 的与竞赛内容相尖的采访。参赛选手不得将竞赛的相矢信息私自公布；15. 竞赛操作结束后，参赛队要确认成功提交竞赛要求的文件，裁判员在比 赛结果的规定位置做标记，并与参赛队一起签字确认；16. 符合下列情形之一的参赛选手，经裁判组裁定后中止其竞赛：(1 ) 不服从裁判员/监考员管理、扰乱赛场秩序、干扰其他参赛选手比 赛，裁判员应提出警告，二次警告后无效，或情节特别严重，造成竞赛 中止的，经裁判长确认，中止比赛，并取消竞赛资格和竞赛成绩；(2) 竞赛过程中，由于选手人为造成计算机、仪器设备及工具等严重损 坏，负责赔偿其损失，并由裁判组裁定其竞赛结束与否、是否保留竞赛 资格、是否累计其有效竞赛成绩；(3) 竞赛过程中，产生重大安全事故、或有产生重大安全事故隐患，经 裁判员提示没有采取措施的，裁判员可暂停其竞赛，由裁判组裁定其竞赛结束，保留竞赛资格和有效竞赛成绩。(四) 工作人员须知1. 赛项全体工作人员必须服从执委会统一指挥，要以高度负责的态度做好 比赛服务工作；2. 全体工作人员由赛项执委会统一聘用并进行工作分工，进入竞赛现场须 佩戴赛项执委会统一提供的胸牌；3. 全体工作人员必须佩戴标志，认真检查证件，经核对无误后方可允许相 矢人员进入指定地点；4. 如遇突发事件要及时向执委会报告，同时做好疏导工作，避免重大事故 发生，确保大赛圆满成功；5. 各工作组负责人，要坚守岗位，组织落实本组成员高效率完成各自工作 任务，做好监督协调工作；6. 全体工作人员不得在比赛场内接打电话，以保证赛场设施的正常工作。十六、申诉与仲裁(一)申诉1 参赛队对不符合竞赛规定的设备、工具、软件，有失公正的评判、奖励，以及对工作人员的违规行为等，均可提出申诉；2. 申诉应在竞赛结束后2小时内提出，超过时效不予受理。申诉时，应按 照规定的程序由参赛队领队向赛项仲裁工作组递交书面申诉报告。报告应对申诉事件的现象、发生的时间、涉及到的人员、申诉依据与理由等 进行充分、实事求是的叙 述。事实依据不充分、仅凭主观臆断的申诉将 不予受理。申诉报告须有申诉的参赛选手、领队签名；3. 赛项仲裁工作组在接到申诉报告后的2小时内组织复议，并及时将复议 结果以书面形式告知申诉方。申诉方对复议结果仍有异议，可由省（市）领队向赛区仲裁委员会提出申诉。赛区仲裁委员会的仲裁结果为 最终结果；4. 申诉人不得采取过激行为刁难、攻击工作人员，否则视为放弃申诉；5. 申诉方可随时提出放弃申诉。十七、竞赛观摩本赛项将会设计观摩区，使用大屏幕实时转播现场实况。竞赛环境依据竞赛需求和职业特点设计，在竞赛不被干扰的前提下安全开放部分赛场。现场观摩应遵守如下纪律：1. 观摩人员需由赛项执委会批准，佩戴观摩证件在工作人员带领下沿指定 路线、在指定区域内到现场观赛；2. 文明观赛，不得大声喧哗，服从赛场工作人员的指挥，杜绝各种违反赛 场秩序的不文明行为；3. 观摩人员不得进入比赛区域，不可接触设备，同参赛选手、裁判交流， 不得传递信息，不得采录竞赛现场数据资料，不得影响比赛的正常进 行；4. 观摩者不可携带手机、IPAD等通讯工具进入赛场，对于各种违反赛场秩序的不文明行为，工作人员有权予以提醒、制止。十八、竞赛直播本赛项竞赛时采用全过程录像，在不影响比赛的前提下，全过程、全方位安 排现场直播，并设直播观摩区，让所有参赛教师和社会人员等观看比赛。赛后邀 请媒体采访优秀选手、优秀指导教师、裁判专家或企业人士，突出赛项的技能重 点与优势特色，为大赛宣传、资源转化提供全面的信息资料。视频资料也作为竞 赛成果提交赛项执委会，作为竞赛历史材料供后续赛项提高进行参考，竞赛过程 可作为教学资料进行资源转换，促进相尖专业教学发展。十九 资源转化2019年全国职业院校技能大赛大数据技术与应用赛项资源转化 工作由赛项 执委会负责，主要聚焦于完善、升级已经开发完成的专业核心课程教学资源包、 更进一步开展师资培养，创新培训课程内容、建设大数据生产实际教学案例库等 工作以及产教融合校企合作案例进行总结，具体工作见下表:项目任务完善优化开发完 成课程资源基础课程包（实践）课程包含Linux基础、SQL JAVA 算法基础，优化电子课件和电子教案，新增综合实训Python基础课程（实践）优化电子课件和电子教案，新增综 合实训Python数据可视化（实践）优化电子课件和电子教案，新增综 合实训Python数据分析（实践）优化电子课件和电子教案，新增综 合实训大数据技术原理与应用优化电子课件和电子教案，新增综 合实训Spark编稈基础优化电子课件和电子教案，新增综 合实训新增大数据专业 课程的资源大数据系统架构源码开发完成电子课件、电子教案、试题 的开发，课程内容大于32课时数据挖掘应用实战完成电子课件、电子教案、试题 的开发，课程内容大于32课时数据可视化开发完成电子课件、电子教案、试题 的开发，课程内容大于32课时业务分析与应用实战完成电子课件、电子教案、试题 的开发，课程内容大于32课时大数据综合实训完成电子课件、电子教案、试题 的开发，课程内容大于64课时大数据技术与应 用生产实际教学 案例库建设计划建设覆盖大数据技术与应用等相尖专业，建设一体化的 生产实际教学案例库，案例库项目数量达到20个师资培养新建成种子教师研修基地10个，组织开展不少于10场师资培 训工作，通过专业与课程开发、教学方法和项目实战等模块的培 训，计划培训200- 300名种子教师。通过大赛项目讲解，计 划覆盖300- 500名教师具备将大赛项目转化为教学内容的能力丿教融合校企合 作院校典型案例至少20家，对合作期间的校企合作、师资队伍建设、课程共 建、资源开放、校企运营机制建立，以及服务于丿业和地方经济 的成功做法，形成可学习可借鉴的案例大赛资源成果转化方案如下:资源名称表现形 式资源 数量资源要求完成时间基本 资源赛项宣传片视频115分钟以上赛后1个月:风米展不片视频110分钟以上赛后1个月技能 概要技能介绍技能 要点评价指标文档1电子教材赛后3个月教学 资源实践资源文档5电子资源赛后4个月技能训练指导书文档1电子资源赛后4个月拓展 资源案例库文档1涵盖20以上的工程 案例赛后4个月优秀选手访谈视频115分钟以上赛后1个月师资培养-10:培养200名以上师资赛后6个月赛题库文档1涵盖10套以上赛题赛后1个月附件1 : 2019年全国职业院校技能大赛大数据技术与应用竞赛样卷20佃年全国职业院校技能大赛高职组大数据技术与应用”赛项试题（样卷）赛题说明竞赛内容分布任务一 ：Hadoop平台及组件的部署管理15%任务二：数据采集20%任务三：数据清洗与分析25%任务四：数据町视化20%任务五：综台分析15%团队分工明确合理、操作规范、文明竞赛5%竞赛时长竞赛时长为4个小时二、竞赛注意事项1. 竞赛所需的硬件、软件和辅助工具由组委会统一布置，选手不得私自携带任 何软件、移动存储、辅助工具、移动通信等进入赛场；2请根据大赛所提供的比赛环境，检查所列的软件及工具组件清单是否齐全，计算机设备是否能正常使用；3. 比赛完成后，比赛设备、软件和赛题请保留在座位上，禁止将比赛所用的所 有物品（包括试卷和草纸）带离赛场；4. 裁判以各参赛队提交的竞赛结果文档为主要评分依据。所有提交的文档必须 按照赛题所规定的命名规则命名，不得以任何形式体现参赛院校、赛位号等信 息；5. 本次比赛采用统一网络环境比赛，请不要随意更改客户端的网络地址信息， 对于更改客户端信息造成的问题，由参赛选手自行承担比赛损失；6. 请不要恶意破坏竞赛环境，对于恶意破坏竞赛环境的参赛者，组委会根据其行为予以处罚直至取消比赛资格；7. 比赛中出现各种问题及时向监考裁判举手示意，不要影响其他参赛队比赛。四、竞赛结果文件的提交按照题目要求，提交符合模板的WOR文件以及对应的PDF文件（利用Ofice Word另存为pdf文件方式生成pdf文件）和代码文件。五、任务说明近年来随着IT产业的加速发展，全国各地对IT类的人才需求也越来越多“ ABC公司”为了明确今后IT产业人才培养方向，在多地 进行IT公司岗位情 况调研分析。你所在的小组将承担模拟调研分析的任务，通过在招聘网站进行招 聘信息的爬取，获取到公司名称、工作地点、岗位名称、招聘要求、招聘人数等 信息，并通过对数据的清洗和分析，得出各地域招聘人数，“大数据”相尖职位 招聘数量，以绘制雷达图展示各地平均薪资情况。为完成该项任务，你所在的小组计划选用在业界广泛应用的“Python和JAVA”语言，作为整个项目的基础语言，并综合利用requests模块、MapReduce MySQL Flask 开源框架、Jinja2 模板引擎和ECharts组件提高开发效率并实现项目要求，由于本次为模拟任务，总数 据量不会过大，项目组计划使用分布式节点Hadoop模式，本次项目环境搭建采 用服务器集群方式，配置了小规模的技术演示环境，通过在招聘网站上爬取到的相矢信息，使用requests模块、Hive、Python、JAVA等手段对数据进行爬取、清洗、整理、计算、表达、分析，力求实现对IT人才就业信息拥有更清晰的掌握。请按照下面步骤完成本次技术展示任务，并提交技术报告。任务一 ：Hadoop相尖组件安装部署（15分）当前环境中已安装Hadoop运行环境和MySQ数据库，相尖安装信息如下表所示，请在此环境基础上按照相矢操作步骤安装Hive组件。考试环境信息表编 号-名称账号密码端口 号路径1Hadooprootpasswd/usr/local/src/hadoop2MySQL rootpasswd3306 1/usr/local/src/mysql3Hive安装包/opt/software/4Mysql JDBC 驱动/opt/software/注意：以下操作必须使用绝对路径。环境变量只对当前 root用户生效。1 将指定路径下的Hive安装包解压并更名；2. 设置Hive环境变量；3. 编辑Hive相矢配置文件；4. 初始化Hive元数据；5. 启动并保存输出结果。任务二：数据采集与数据预处理（20分）1 从指定招聘网站中抓取数据，提取有效数据项，并保存为json格式文件;2 设置post请求参数并将信息返回给变量response ;3将提取数据转化成json格式，并赋值变量；4. 用with函数创建json文件，通过json方法，写入json数据；5. 爬取的数据需要导入hadoop平台进行数据清洗与分析，在HDFS文件系统 中创建文件夹，并将json文件上传到该文件夹下。任务三：数据清洗与分析（25分）1 为便于数据分析与可视化，需要对爬取出的数据进行清洗，使用Java语言编写数据清洗的MapReduce程序；2. 将清洗程序上传至hadoop,并对HDFS勺原始数据进行清洗；3. 将清洗后的数据加载到Hive数据仓库中；4. 通过运行HQL命令完成数据分析统计；5. 在hive中执行sql脚本，并查看表中大数据核心技能的出现次数。任务四：数据可视化（20分）为更好的将数据分析结果表达出来，需要对数据分析的结束进行可视化呈现，可视化呈现，本次数据可视化需要呈现三部分内容：1 按要求使用柱状图展示各城市招聘人数，并在前端显示。要求：主标题：各地域招聘人数副标题：（-招聘人数变化趋势）横坐标：城市信息，纵坐标：招聘人数输出柱状图2. 按要求使用折线图展示“大数据”相尖职位招聘数量差异，并在前端显示。要求： 主标题：大数据相矢职位分析副标题：（招聘数量变化趋势）.横坐冈位名称，纵坐标：冈位数量输出折线图3. 通过雷达图展示各地平均薪资的情况。要求:主标题：各地平均薪资输出雷达图任务五：完成分析报告（15分）请结合数据分析结果回答以下问题：1. 根据分析结果说明大数据岗位所需要的主要技能包含哪些，为什么（4分）2. 根据分析结果说明各地大数据产业发展情况（4分）3. 根据市场需求分析，大数据行业的人才培养方向有哪些，为什么（4分）4. 请简述，今后大数据产业地域发展方向在哪里（3分）六、竞赛结果提交要求（一）提交方式任务成果需拷贝至提供的U盘中。在U盘中以XX赛位号建一个文 件夹（例 如01），将所有任务成果文档保存至该文件夹中。（二）文档要求竞赛提交的所有文档中不能出现参赛队信息和参赛选手信息，竞赛文档需要填写参赛队信息时以赛位号代替（XX代表赛位号）。