sqoop oracle mysql_Sqoop 1.4.6对于Mysql,Oracle的导入导出
发布日期:2021-06-24 13:00:44 浏览次数:2 分类:技术文章

本文共 1772 字,大约阅读时间需要 5 分钟。

测试环境:

CDH 5.7.3 (hadoop 2.6.0); Sqoop 1.4.6-cdh5.7.3 (在CDH管理平台中添加服务)

1. 下载对应的DB驱动包

mysql:mysql-connector-java-5.1.32-bin.jar

oracle: ojdbc6.jar

2. 拷贝DB驱动包到对应的sqoop目录

例:/opt/cloudera/parcels/CDH-5.7.3-1.cdh5.7.3.p0.5/lib/sqoop/lib/

集群中的所有节点。

3. Mysql测试

3.1 连接测试,显示所有数据库

sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username root --password *****

3.2 导出mysql数据表,到HDFS

sqoop import  --connect jdbc:mysql://192.168.0.74:3306/test?characterEncoding=UTF-8 --username root --password **** --target-dir '/user/root/test/sqoop_test1' --table kmeans -m 1

3.3 把HDFS上的数据,导入到mysql数据表

sqoop export  --connect jdbc:mysql://192.168.0.74:3306/test?characterEncoding=UTF-8 --username root --password **** --table test  --fields-terminated-by ',' --export-dir '/user/root/test/sqoop_test1'

4. Oracle测试

4.1 导出Oracle数据表,到HDFS

sqoop import  --connect jdbc:oracle:thin://@192.168.0.101:1521:ORCL  \

--username NNNN --password PPPP \

--target-dir '/user/root/test/sqoop_test12' \

--table TEST_ALL3 -m 1 \

--columns AAAA,BBBB,CCCC

4.2 把HDFS上的数据,导入到oracle数据表

sqoop export  --connect jdbc:oracle:thin://@192.168.0.101:1521:ORCL  \

--username NNNN --password PPPP \

--table mytest --fields-terminated-by ',' \

--export-dir '/user/root/test/sqoop_test12'

5. 示例脚本:

导出oracle数据表到hdfs, 选用列AAAA为分区字段,调用了4个mapper

#!/bin/sh

# Oracle connection URL

OracleURL=jdbc:oracle:thin://@192.168.0.101:1521:ORCL

# oracle Username

UserName=NNNN

# Oracle Password

PassWord=PPPP

# Oracle Table Name

OracleTable=TEST3

# Oracle columns

OracleColumn=AAAA,BBBB,CCCC,DDDD

# HDFS output Path

OutputPath=/user/root/test/oracle2hdfs

sqoop import --append --connect $OracleURL \

--username $UserName --password $PassWord \

--target-dir $OutputPath \

--table $OracleTable \

--columns $OracleColumn \

--m 4 --split-by AAAA

转载地址:https://blog.csdn.net/weixin_32875295/article/details/114470615 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!

上一篇:java实现混合高斯_高斯混合模型 C++实现
下一篇:react前端封装接口弹出错误_react中请求接口的封装

发表评论

最新留言

逛到本站,mark一下
[***.202.152.39]2024年04月09日 12时33分10秒

关于作者

    喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!

推荐文章