全部 新闻动态 技术文章 常见问题 技术问答

• • 

    在数据处理中哪些场景可以使用Spark？

    在数据科学应用中，数据工程师可以利用Spark进行数据分析与建模，由于Spark具有良好的易用性，数据工程师只需要具备一定的SQL语言基础、统计学、机器学习等方面的经验，以及使用Python、Matlab或者R语言的基础编程能力，就可以使用Spark进行上述工作。查看全文>>

    技术文章2021-03-12 |黑马程序员 |Spark,大数据,数据处理
  • 

    Watch机制的通知状态和事件类型

    同一个事件类型在不同的连接状态中代表的含义有所不同，当客户端断开连接，这时客户端和服务器的连接就是Disconnected状态，说明连接失败；当客户端和服务器的某一个节点建立连接，并完成一次version、zxid的同步，这时客户端和服务器的连接状态就是SyncConnected，说明连接成功；查看全文>>

    技术文章2021-03-11 |黑马程序员 |Watch机制的通知状态和事件类型
  • 

    Hadoop中的Sequence File文件是什么？【大数据面试题】

    Hadoop可以存储多种文件格式。在存储结构上，SequenceFile主要由一个Header后跟多条Record组成，Header主要包含了Key classname，value classname，存储压缩算法，用户自定义元数据等信息查看全文>>

    技术文章2021-03-11 |黑马程序员 |Hadoop,Sequence File文件
  • 

    Hadoop生态体系有哪些子系统？

    随着Hadoop的不断发展，Hadoop生态体系越来越完善，现如今已经发展成一个庞大的生态体系，Hadoop生态体系包含了很多子系统，下面介绍一些常见的子系统，具体如下：查看全文>>

    技术文章2021-03-11 |黑马程序员 |Hadoop,Hadoop生态体系
  • 

    Scala的方法和函数讲解【黑马程序员】

    在Scala中，它和Java一样也是拥有方法和函数。Scala的方法是类的一部分，而函数是一个对象可以赋值给一个变量。换句话来说，在类中定义的函数即是方法。查看全文>>

    技术文章2021-03-08 |黑马程序员 |Scala的方法和函数
  • 

    RDD数据丢失后如何恢复？RDD容错机制介绍

    对于迭代式计算和交互式数据挖掘，RDD可以将中间计算的数据结果保存在内存中，当Spark集群中的某一个节点由于宕机导致数据丢失，就可以通过Spark中的RDD进行容错恢复已经丢失的数据。RDD提供了两种故障恢复的方式，分别是血统（Lineage）方式和设置检查点（checkpoint）方式。下面，我们就来介绍一下这两种方式。查看全文>>

    技术文章2021-03-05 |黑马程序员 |RDD，操作,spark,RDD容错机制
  << < 1 2 3 4 5 6 7 8 9 10 ...33 > >>