博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Hadoop Hive概念学习系列之HDFS、Hive、MySQL、Sqoop之间的数据导入导出(强烈建议去看)...
阅读量:4703 次
发布时间:2019-06-10

本文共 1221 字,大约阅读时间需要 4 分钟。

 (强烈建议去看)

Hive几种数据导出方式 https://www.iteblog.com/archives/955 (强烈建议去看)

 

 

 

 

把MySQL里的数据导入到HDFS

  1、使用MySQL工具手工导入

  把MySQL的导出数据导入到HDFS的最简单方法就是,使用命令行工具和MySQL语句。

为了导出整个数据表或整个数据库的内容,MySQL提供了mysqldump工具。

 

  比如

  SELECT  col1,col2 FORM TABLE 

      INTO OUTFILE '/tmp/out.csv'

  FIELDS TERMINATED BY ',' , LINES  TERMINATED  BY '\n';

  这个学格式就好,具体表看自己的。

  一旦我们把数据导出到文件中,就可以用hadoop fs -put把该文件,从本地linux移到HDFS上。

 

  2、使用Sqoop把MySQL里的数据导入到HDFS

  $ sqoop  import  --connect  jdbc:mysql://192.168.80.128/hive  --username   hive   \ >  --password  hive   --table  employees

  注意,这里根据自己的来,元数据库名,用户名和密码

 

 

 

 

把MySQL里的数据导入到Hive

  $ sqoop  import  --connect jdbc:mysql://192.168.80.128/hive   --username  hive   -password  hive  --table employees   --hive-import    --hive-table  employees

  更为详细,见

 

 

 

 

 

把HDFS里的数据导出到MySQL

  $ sqoop  export --connect  jdbc:mysql://192.168.80.128/hive  --username  hive   -password  hive  --table employees   --export-dir  edata  --input-fields-terminated-by  '\t‘

  更为详细,见

 

 

 

 

 

把HDFS里的数据导出到Hive

 $  sqoop  export  --connect jdbc://mysql://192.168.80.128/hive  -username  hive   -password  hive  --table employees  --export-dir  /user/hive/warehouse/employees   --input-fields-terminated-by  '\001'     --input-lines-terminated-by  '\n' 

 

藏经阁技术资料分享群二维码

藏经阁技术资料分享群二维码

转载于:https://www.cnblogs.com/wangsongbai/p/9122923.html

你可能感兴趣的文章
HDOJ---2824 The Euler function[欧拉函数]
查看>>
KMP算法
查看>>
Atlas学习之开始篇[转]
查看>>
第二章 在HTML页面里使用javaScript
查看>>
【Educational Codeforces Round 48 (Rated for Div. 2) D】Vasya And The Matrix
查看>>
正则表达式的性能评测
查看>>
CF1172B Nauuo and Circle
查看>>
CF1178D Prime Graph
查看>>
CF1190D Tokitsukaze and Strange Rectangle
查看>>
CF1202F You Are Given Some Letters...
查看>>
CF1179C Serge and Dining Room
查看>>
CF1168B Good Triple
查看>>
CF1208E Let Them Slide
查看>>
AT2000 Leftmost Ball
查看>>
CF1086E Beautiful Matrix
查看>>
在单位上班的25条建议(建议收藏)
查看>>
web前端--http协议
查看>>
欧拉定理证明&阶乘的逆元
查看>>
Prime Game Gym - 101981J(网络流/二分图)
查看>>
Teamwork Gym - 101492E (dp)
查看>>