在业务系统和数据仓库之间形成一个隔离层,ODS直接存放从各个业务系统抽取过来的数据, 这些数据从结构和数据逻辑关系上和业务系统保持一致,降低了数据抽取的复杂性。查看全文>>
进入hbase命令行 ./hbase shell 显示hbase中的表 list 创建user表,包含info、data两个列族......查看全文>>
最近,在工作中遇到了MySQL中如何存储长度较长的字段类型问题,于是花了一周多的时间抽空学习了一下,并且记录下来。查看全文>>
安全模式是HDFS所处的一种特殊状态,在这种状态下,文件系统只接受读数据请求,而不接受删除、修改等变更请求,是一种保护机制,用于保证集群中的数据块的安全性。查看全文>>
HDFS元数据,按类型分,主要包括以下几个部分: 1、文件、目录自身的属性信息,例如文件名,目录名,修改信息等。 2、文件记录的信息的存储相关的信息,例如存储块信息,分块情况,副本个数等。 3、记录HDFS的Datanode的信息,用于DataNode的管理。查看全文>>
mapreduce.map.memory.mb: 一个Map Task可使用的内存上限(单位:MB),默认为1024。如果Map Task实际使用的资源量超过该值,则会被强制杀死。查看全文>>