IDEA开发Spark应用(Scala)


一、环境准备

  1. Scala 插件
  2. JDK
  3. Scala SDK
  4. Spark

二、创建项目

  1. 点击新建项目

image.png

  1. 选择新建 Scala 项目

image.png

  1. 填写相应的信息

image.png

  1. 选择 文件->项目结构

image.png

  1. 选择 JAVA

image.png

  1. 选择 spark 目录下的 jars

image.png

三、程序编写

词频统计 Demo:

package org.spark.demo

import org.apache.spark.{SparkConf, SparkContext}

object Demo {
  def main(args: Array[String]): Unit = {
    // Create a SparkContext to initialize Spark
    val conf = new SparkConf()
    conf.setMaster("local")
    conf.setAppName("Word Count")
    val sc = new SparkContext(conf)

    // Load the text into a Spark RDD, which is a distributed representation of each line of text
    val textFile = sc.textFile("file:///simple/test.txt")

    // word count
    val counts = textFile.flatMap(line => line.split(" "))
      .map(word => (word, 1))
      .reduceByKey(_ + _)

    counts.foreach(println)
    System.out.println("Total words: " + counts.count());
    counts.saveAsTextFile("/tmp/shakespeareWordCount")
  }
}

四、构建打包,提交到 spark 环境运行

  1. 选择 _文件->项目结构_,然后:

image.png
image.png
image.png

  1. 生成 JAR 包路径:out/artifacts/DemoProject_jar/DemoProject.jar
  2. 将 JAR 包上传至 Spark 集群,执行:
spark-submit --class org.spark.demo.Demo /root/jars/DemoProject.jar

文章作者: Truda
版权声明: 本博客所有文章除特別声明外,均采用 CC BY 4.0 许可协议。转载请注明来源 Truda !
评论
  目录