8 | Spark calcule la note moyenne des étudiants

Exigence : Calculer la note moyenne des étudiants

Contexte :
Nous disposons d'un ensemble de données sur les noms et les notes des étudiants, et nous devons calculer la note moyenne de chaque étudiant.

Exigences fonctionnelles :

  1. Obtenez le nom de l'élève et les données de score à partir de la source de données.
  2. Utilisez Spark pour le traitement des données afin de regrouper les données des étudiants par nom.
  3. Calculez la note moyenne de chaque élève, en arrondissant à deux décimales.
  4. Affichez le score moyen calculé ainsi que le nom de l'élève.
  5. Les résultats doivent être présentés de manière facile à comprendre, y compris les noms des étudiants et leurs notes moyennes.
  6. Après avoir effectué le calcul, fermez le contexte Spark.

entrer:

  • Ensemble de données des noms et des scores des étudiants.

sortir:

  • Une liste claire et lisible du nom et de la moyenne de chaque élève.
package com.bigdata;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import scala.Tuple2;

import java.text.DecimalFormat; // 导入DecimalFormat
import java.util.Arrays;

public class GroupByKeyExample {
    public static void main(String[] args) {
        // 创建Spark配置
        SparkConf conf = new SparkConf().setAppName("Gro

Je suppose que tu aimes

Origine blog.csdn.net/weixin_44510615/article/details/132635452
conseillé
Classement