客户端

sqoop环境配置及使用

所在版块: 后端技术 2018-03-06 21:05 [复制链接] 查看: 2527|回复: 0
目前sqoop有两个版本:sqoop1(sqoop-1.4.x)和sqoop2(sqoop-1.99.x),两个版本并不兼容,使用时要特别注意。sqoop1是以命令行工具方式使用。
sqoop2采用server和client的方式使用。
个人习惯用sqoop1。

【sqoop1】安装配置
  1. $ tar zxcf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
  2. $ cd sqoop-1.4.7.bin__hadoop-2.6.0/conf
  3. $ cp sqoop-env-template.sh sqoop-env.sh
  4. 在sqoop-env.sh中配置hive
  5. $ cp /usr/local/hive-current/conf/hive-site.xml  .

复制代码

问题:找不到HiveConf相关的类
解决:export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/usr/local/hive-current/lib/*


问题:找不到数据库错误
解决:copy hive中的hive-site.xml文件放入sqoop conf目录下。当没有在sqoop的conf目录下找到hive-site.xml时,sqoop默认采用的是读取deby内置数据库。



【使用示例】


1. 列出mysql下的所有数据库
sqoop list-databases --connect jdbc:mysql://127.0.0.1:9988 --username root --password root

2. 列出DB下的所有表
sqoop list-tables --connect jdbc:mysql://127.0.0.1:9988/m2d_report --username root --password root


3. 创建表结构
sqoop create-hive-table --connect jdbc:mysql://127.0.0.1:9988/test --username root --password root --table t_user --hive-database langbi_dm --hive-table t_user  --fields-terminated-by "\0001"  --lines-terminated-by "\n" --verbose














分享到:  QQ好友和群QQ好友和群 QQ空间QQ空间 腾讯微博腾讯微博 腾讯朋友腾讯朋友
收藏收藏
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码关注微信公众号

QQ|Archiver|手机版|小黑屋|mwt-design ( 沪ICP备12041170号-1

GMT+8, 2024-11-24 19:39 , Processed in 0.071145 second(s), 27 queries .

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.

快速回复 返回列表