2020年大数据开发工程师的岗位职责

2020年大数据开发工程师的岗位职责 大数据开发工程师的岗位职责1职责:1、负责所分管团队的团队建设和日常管理工作;2、负责核心技术问题攻关和性能优化，持续维护和引进最新的大数据技术到城市大数据平台中，支撑城市级大数据平台业务;3、承担城市数据标准编制和数据模型的设计;4、承担项目中数据相关方案设计及数据团队管理;5、参与城市大数据项目中数据采集、加工过程、分析挖掘模型算法的实施工作。任职资格:1、1年以上数据开发工作经验，熟练使用SQL查询引擎;2、熟悉Hadoop、Mpp、Oracle等至少一种数据仓库工具3、具备良好的编程语言基础如：java/python/scala/c+/shell等4、二本以上学历，计算机相关专业或者有相关培训经历者优先5、 个人素质要求：目光长远、态度诚恳、岗位有稳定性，能够长期培养、具备很强的自学能力、承压能力强、接受出差支援项目等工作。对数据工作具备浓厚的兴趣并有明确职业规划，优秀的学习能力和团队沟通协作能力，对新技术有浓厚兴趣并有钻研精神。大数据开发工程师的岗位职责2职责：1、依据客户需求完成大数据项目的数据分析及建模;2、进行大数据核心算法的编写;3、参与项目的需求分析、系统设计、编码工作;4、参与开发过程中相关新技术的研究和验证。5.协助承担架构性的体系设计和改造工作，配合制定技术实施方案，按照总体设计组织子系统的设计和开发。任职要求：1、精通数据建模、数据体系建设，具备数据仓库架构设计、模型设计和处理性能调优等相关经验;2、具有丰富的基于hadoop体系的数据平台、数据仓库建设经验，精通基于hadoop源码的开发、优化改造及成功应用案例;3、精通hadoop生态体系各项技术，如kafka、flume、hive、impala、hbase、spark等，具有100+节点hadoop集群的开发、运维经验;4、具有对大型hadoop集群的硬件规划能力;大数据开发工程师的岗位职责3职责1、负责基于hadoop/spark生态系统、亿级别数据的全文检索，搜索引擎的产品研发;2、基于海量用户行为数据和其他数据，分析和研究数据与实际业务的关联关系，并与实际业务应用相结合开发;3、负责大数据分析需求设计和开发，承担数据抽取、清洗、转化等数据处理程序开发。任职要求：1、熟悉Hadoop/HBase/Spark/Storm/Redis/Kafka/ES/Flume技术及其生态圈，具备相关项目开发经验，有数据实时计算项目经验优先;2、有搜索引擎全文检索开发经验 ，如：elasticsearch、solr;3、熟悉python、R任意一门开发语言;4、有SAAS，PAAS企业级应用平台或者互联网，金融等大型应用平台开发经验优先考虑;5、 本科及以上学历，计算机/软件工程/统计学/数学等相关专业，互联网/金融等行业3年以上工作经验;6、拥有良好的代码习惯，要求结构清晰、命名规范、逻辑性强、代码冗余率低，代码注释清晰;7、熟悉使用svn，禅道等项目管理工具，有良好的团队协作开发经验.大数据开发工程师的岗位职责4职责：1、从事Hadoop、Spark、Hbase、hive等分布式大数据产品的设计和开发;2、针对部门大数据业务进行大数据分析、挖掘等产品应用的开发;3、大数据平台各类数据业务抽象及模型化;4、参与大数据管理平台的开发及维护;5、负责大数据平台数据及相关的应用开发，调优及维护;6、为项目相关开发人员提供大数据技术指导及解决大数据平台应用中遇到的技术难题;7、良好的团队合作与沟通能力。任职要求：1、本科及以上学历，2年以上大数据应用开发经验;2、具备Java、Python、Scala其中两种语言的开发经验;3、了解泛Hadoop大数据生态圈，熟悉HDFS/Hive/Flink/Hbase/Spark/Kafka其中两种以上技术，并有实际的项目开发经验，有相关源码研究者优先;4、具备ETL开发与运维能力，有Flume、kettle经验优先;5、熟悉大数据平台的搭建过程，熟悉数据处理流程，有TB级以上数据处理经验优先，有实时数据处理经验者优先;6、熟悉离线和实时数据处理流程，熟练使用Spark，Flink处理TB级数据优先;7、熟悉Linu*系统环境，有shell等脚本编写经验，熟悉Mysql、PostgreSql、Oracle等常用关系数据库，熟练编写SQL语句;8、熟悉Yarn,Kubernetes,Azkaban等资源调度框架者优先;9、熟悉Data*的二次开发，并有实际开发经验优先。大数据开发工程师的岗位职责5职责：1、负责数据分析、加工、清理，相关处理脚本和程序的开发;2、负责开发大数据工具，如报表平台、多维度分析工具、ETL平台、调度平台的研发;3、负责分布式大数据平台应用开发(Hadoop/Spark/Hive/HBase等);4、负责大数据相关平台的维护、优化。任职要求：1、本科及以上学历，计算机相关专业，具有5年及以上的大数据ETL或数据开发经验，熟悉大数据组件的维护以及调优;2、熟练掌握Java或Python编程语言，熟悉大数据架构体系，熟悉Hadoop、HDFS、Hive、HBase、Spark、Kafka等技术中的一个或者多个，熟悉Sqoop、Data*等数据导入工具;3、能熟练使用Hive、HBase、Spark等加工和处理数据，有海量数据处理经验;4、有数据仓库开发经验/BI系统开发经验优先;5、有电商行业数据处理与分析平台开发经验者优先。