大数据如何安装和配置Sqoop？

Sqoop的安装配置非常简单，前提是部署Sqoop工具的机器需要具备Java和Hadoop的运行环境。接下来，本书将采用编写时最新稳定版本Sqoop-1.4.6来讲解Sqoop的安装配置，下载地址http://archive.apache.org/dist/sqoop/1.4.6/。

1**．Sqoop**安装

首先将下载好的安装包上传至hadoop01主节点的/export/software目录中，并解压至/export/servers路径下，然后对解压包进行重命名，具体指令如下。

$ tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /export/servers/

$ mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha/ sqoop-1.4.6

执行完上述Sqoop的下载解压后，就完成了Sqoop的安装。

2**．Sqoop**配置

（1）先进入Sqoop解压包目录中的conf文件夹目录下，将sqoop-env-template.sh文件复制并重命名为sqoop-env.sh，对该文件中的如下内容进行修改。

export HADOOP_COMMON_HOME=/export/servers/hadoop-2.7.4

export HADOOP_MAPRED_HOME=/export/servers/hadoop-2.7.4

export HIVE_HOME=/export/servers/apache-hive-1.2.1-bin

在sqoop-env.sh配置文件中，需要配置的是Sqoop运行时必备环境的安装目录，Sqoop运行在Hadoop之上，因此必须指定Hadoop环境。另外，在配置文件中还要根据需要自定义配置Hbase、Hive和Zookeeper等环境变量（例如本章后续将会使用到Hive，所以必须配置Hive的环境变量，而其他无关环境变量如果未配置，使用过程中可能会出现警告提示，但不影响其他操作）。

小提示：

需要说明的是，本书讲解的Hadoop是Apache社区版本，Hadoop重要的组件都是安装在一个安装包中，所以上述配置文件中配置的HADOOP_COMMON_HOME与HADOOP_MAPRED_HOME指定的Hadoop安装目录一致。如果使用第三方的Hadoop，这些组件都是可选择配置的，那么这两个路径可能会有所不同。

（2）为了后续方便Sqoop使用和管理，可以配置Sqoop系统环境变量。使用“vi /etc/profile”指令进入到profile文件，在文件底部进一步添加如下内容类配置Sqoop系统环境变量。

export SQOOP_HOME=/export/servers/sqoop-1.4.6

export PATH=$PATH:$SQOOP_HOME/bin:

配置完成后直接保存退出，接着使用“source /etc/profile”指令刷新配置文件即可。

（3）当完成前面Sqoop的相关配置后，还需要根据所操作的关系型数据库添加对应的JDBC驱动包，用于数据库连接。本书将针对MySQL数据库进行数据迁移操作，所以需要将mysql-connector-java-5.1.32.jar（版本可以自行选择）包上传至Sqoop解压包目录的lib文件夹下。

3**．Sqoop**效果测试

执行完上述Sqoop的安装配置操作后，就可以执行Sqoop相关指令来验证Sqoop的执行效果了，具体指令如下（此次在Sqoop的解压包下执行，同时注意数据库密码）。

$ sqoop list-databases \

 -connect jdbc:mysql://localhost:3306/ \

 --username root --password 123456

上述指令中，sqoop list-databases用于输出连接的本地MySQL数据库中的所有数据库名，如果正确返回指定地址的MySQL数据库信息，那么说明Sqoop配置完毕。

执行上述指令后，终端效果如图1所示。

图1 Sqoop验证效果

从图1可以看出，执行完上述指令后，通过Sqoop成功查询出连接的MySQL数据库中的所有数据库名，这就说明Sqoop的安装配置正确。



猜你喜欢：

什么是spoop?Sqoop简介

如何使用IDEA工具开发Scala程序？

Hive安装之嵌入模式

黑马程序员大数据开发培训