hadoop入门教程53-Sqoop数据交换工具.ppt

Hadoop大数据解决方案进阶应用 Hadoop 讲师 迪伦 北风网版权所有 Sqoop数据交换工具 3 从Mysql导入数据到HiveSqoop导出 课程目标 Import通用选项 从Mysql导入到Hive 在Hive中默认default数据库中创建project表 执行导入 Hive中查询验证hive SELECT FROMproject 相关问题 在非增量同步模式下 如果第一次我们导入成功 在尝试第二次将数据从MySQL数据库导入到Hive 可能会出现类似如下的错误 org apache hadoop mapred FileAlreadyExistsException Outputdirectoryprojectalreadyexists解决方法 删除HDFS文件 hadoopdfs rmr user hadoop project创建表 从Mysql增量导入到Hive Sqoop的 incremental有两种模式Append追加模式 根据指定字段的增量 如主键 进行同步Lastmodified模式 可以根据指定的更新时间戳字段来进行同步在原基础上增加3条记录 增量导入 从Mysql导入到Hive 其他选项实例 将Mysql数据库中多表JOIN后的数据导入HDFS 将MySQL数据库中某个表的几个字段的数据导入到Hive表 Sqoop1export介绍 将数据从Hadoop导入关系型数据库导中 Sqoop1export基本选项 欢迎访问我们的官方网站