首页最新资讯

全部 新闻动态 技术文章 常见问题 技术问答

    • RDD转换算子API过程演示【大数据文章】

      RDD处理过程中的“转换”操作主要用于根据已有RDD创建新的RDD,每一次通过Transformation算子计算后都会返回一个新RDD,供给下一个转换算子使用。面,我们通过结合具体的示例对这些转换算子API进行详细讲解。查看全文>>

      技术文章2020-12-21 |黑马程序员 |RDD,转换算子,RDD数据处理
    • Spark Shell读取HDFS文件的步骤有哪些?

      使用Scala语言开发单词计数Spark程序,现有文本文件words.txt(读者需要在本地创建文件并上传至指定目录)在HDFS中的/spark/test路径下如果使用Spark Shell来读取HDFS中的/spark/test/ words.txt文件,具体步骤如下:查看全文>>

      技术文章2020-12-21 |黑马程序员 |Shell,Spark
    • Scala的控制结构语句有哪几种?各语法格式介绍

      在Scala中,控制结构语句包括条件分支语句和循环语句。其中,条件分支语句有if语句、if...else语句、if...else if...else语句以及if...else嵌套语句;循环语句有for循环,while循环和do...while循环。条件分支语句和循环语句的语法格式具体如下。查看全文>>

      技术文章2020-12-17 |黑马程序员 |控制结构语句的语法格式
    • 如何使用IDEA工具开发一个WordCount单词计数程序?

      Spark作业与MapReduce作业同样可以先在本地开发测试,本地执行模式与集群提交模式,代码的业务功能相同,因此本书大多数采用本地开发模式。下面讲解使用IDEA工具开发WordCount单词计数程序的相关步骤。查看全文>>

      技术文章2020-12-17 |黑马程序员 |IDEA工具,WordCount单词计数程序开发
    • Scala在使用声明值和变量时的注意事项有哪些?

      Scala有两种类型的变量,一种是使用关键字var声明的变量,值是可变的;另一种是使用关键字val声明的变量,也叫常量,值是不可变的。这里需要说明的是,虽然声明值和变量的方式比较简单,但是有以下几个事项需要注意:查看全文>>

      技术文章2020-12-17 |黑马程序员 | Scala声明值和变量
    • 详解MapReduce编程的Map模型和Reduce模型

      MapReduce是一种编程模型,用于处理大规模数据集的并行运算。使用MapReduce执行计算任务的时候,每个任务的执行过程都会被分为两个阶段,分别是Map和Reduce,其中Map阶段用于对原始数据进行处理,Reduce阶段用于对Map阶段的结果进行汇总,得到最终结果,这两个阶段的模型如图1所示。查看全文>>

      技术文章2020-12-17 |黑马程序员 |MapReduce编程模型,大规模数据集的运算
和我们在线交谈!