spark action之saveastextfile
发布日期:2021-08-12 02:36:22 浏览次数:23 分类:技术文章

本文共 1386 字,大约阅读时间需要 4 分钟。

java

1 /**  2  *saveastextfile 把rdd中的数据保存到文件中,只能指定文件夹 3  *@author Tele 4  * 5  */ 6 public class SaveasTextFileDemo1 { 7     private static SparkConf conf = new SparkConf().setMaster("local").setAppName("saveastextfiledemo1"); 8     private static JavaSparkContext jsc = new JavaSparkContext(conf); 9 10     public static void main(String[] args) {11         List
> list = Arrays.asList(12 new Tuple2
("tele",100),13 new Tuple2
("tele",200),14 new Tuple2
("tele",300),15 new Tuple2
("yeye",50),16 new Tuple2
("yeye",10),17 new Tuple2
("yeye",70),18 new Tuple2
("wyc",10000)19 );20 21 JavaPairRDD
rdd = jsc.parallelizePairs(list);22 23 //保存到本地24 rdd.saveAsTextFile("./src/main/resources/local");25 jsc.close();26 } 27 }

scala

1 object SaveasTextFileDemo { 2     def main(args: Array[String]): Unit = { 3       val conf = new SparkConf().setMaster("local").setAppName("saveastextfiledemo"); 4       val sc = new SparkContext(conf); 5        6       val arr = Array(("class1","tele"),("class1","yeye"),("class2","wyc")); 7      8       val rdd = sc.parallelize(arr,1); 9       10       rdd.saveAsTextFile("./src/main/resources/myfile")11       12     }13 }

 

转载于:https://www.cnblogs.com/tele-share/p/10269107.html

转载地址:https://blog.csdn.net/weixin_30642561/article/details/97285733 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!

上一篇:Maven(2)-坐标和依赖
下一篇:MySQL8.0安装连接Navicat的坑

发表评论

最新留言

留言是一种美德,欢迎回访!
[***.207.175.100]2024年04月13日 15时30分06秒