全部 新闻动态 技术文章 常见问题 技术问答

• • 

    为什么要研究大数据？大数据有什么价值？

    现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的交流也越来越密切，生活也越来越便捷，大数据就是这个高科技时代的产物。阿里巴巴创办人马云曾经说过，未来的时代将不是IT时代，而是DT的时代，DT就是Data Technology，数据科技，这显示出大数据对于阿里巴巴集团来说是举足轻重的。查看全文>>

    技术文章2021-02-01 |黑马程序员 |为什么要研究大数据
  • 

    什么样的数据可以称为大数据？

    一般认为，大数据主要具有以下4个方面的典型特征，即大量(Volume)、多样(Variety)、高速(Velocity)和价值(Value)，即所谓的4V，接下来，通过一张图来具休描述。查看全文>>

    技术文章2021-02-01 |黑马程序员 |什么数据是大数据
  • 

    大数据是什么意思？大数据有什么用？

    大数据是什么意思呢?如果从字面意思来看，大数据指的是巨量数据。那么可能有人会问，多大量级的数据才叫大数据?不同的机构或学者有不同的理解，难以有一个非常定量的定义，只能说，大数据的计量单位已经越过TB级别发展到PB、EB、ZB、YB甚至BB级别。查看全文>>

    技术文章2021-02-01 |黑马程序员 |大数据是什么意思
  • 

    RDD如何分区，各种模式下的分区数目是怎样的？

    RDD的分区原则是分区的个数尽量等于集群中的CPU核心(Core)数目。对于不同的Spark部署模式而言，都可以通过设置spark.default.prallien这个参数值来配置默认的分区数目。一般而言，各种模式下的默认分区数目如下。查看全文>>

    技术文章2021-01-29 |黑马程序员 |RDD如何分区
  • 

    Spark Mllib分层抽样操作步骤

    分层抽样法也叫类型抽样法,它是先将总体样本按照某种特征分为若干次级(层),然后再从每一一层内进行独立取样，组成一个样本的统计学计算方法，接下来，通过Spark-Shell演示分层抽样方法，具体代码如下查看全文>>

    技术文章2021-01-29 |黑马程序员 |Spark MLlib分层抽样
  • 

    Sqoop中的增量导入功能怎样使用？

    当MySQL表中的数据发生了新增或修改变化，需要更新HDFS上对应的数据时，就可以使用Sqoop的增量导入功能。Sqoop目前支持两种增量导入模式：append模式和lastmodified模式。其中，append模式主要针对INSERT新增数据的增量导入；lastmodified模式主要针对UPDATE修改数据的增量导入。查看全文>>

    技术文章2021-01-26 |黑马程序员 |Sqoop增量导入，MySQL导入数据
  << < 1 2 3 4 5 6 7 8 9 10 ...38 > >>