安装配置Sqoop,前提是部署Sqoop工具的机器需要具备Java和Hadoop的运行环境首先将下载好的安装包上传至hadoop01主节点的/export/software目录中,并解压至/export/servers路径下,然后对解压包进行重命名,具体指令如下。查看全文>>
Reduce大致分为copy、sort、reduce三个阶段,重点在前两个阶段。Copy阶段,简单地拉取数据。Reduce进程启动一些数据copy线程(Fetcher),通过HTTP方式请求maptask 获取属于自己的文件。查看全文>>
通过打印“Hello World”的例子来演示如何使用IDEA工具开发Scala程序,具体步骤如下。查看全文>>
通常,在接收到source的数据后,应该立刻生成watermark;但是,也可以在接收source后,应用简单的map或者filter操作,然后再生成watermark。查看全文>>
关系型数据和Hive都是支持SQL引擎的数据库;Redis和Hbase都是NoSQL 类型的Key/vale数据库,支持简单的行列操作,不支持SQL引擎。查看全文>>
嵌入模式下,元数据保存在Derby数据库中,且只允许一个会话连接,若尝试多个会话连接时会报错。下面讲解Hive安装之嵌入模式的配置步骤查看全文>>