复现Spark2.2.0快速入门
发布日期:2021-08-26 11:01:55 浏览次数:2 分类:技术文章

本文共 1049 字,大约阅读时间需要 3 分钟。

1.参考网址

根据官网上的文档进行操作,出现了各种不同的问题,将 其记录一下

2.问题及解决方案

(1)java版本编译错误

maven默认是java1.5,但1.5并不支持lambda语句,故需要更改jdk,需要修改三个地方:

file:setting

file:project structure

 

(2)JVM申请内存不足

解决方案:http://blog.csdn.net/yizheyouye/article/details/50676022

(3)其他问题

未设置master URL:修改SparkSession,设置master为local

read处报错:加上双引号

sparkSession识别不出来:导入相应的包

3.修改后代码

/* SimpleApp.java */import org.apache.spark.sql.*;public class WordCount {    public static void main(String[] args) {        String logFile = "/home/quickly/spark-2.2.0-bin-hadoop2.7/README.md"; // Should be some file on your system        SparkSession spark = SparkSession.builder().master("local").appName("Simple Application").getOrCreate();        Dataset
logData = spark.read().textFile(logFile).cache(); long numAs = logData.filter(s -> s.contains("a")).count(); long numBs = logData.filter(s -> s.contains("b")).count(); System.out.println("Lines with a: " + numAs + ", lines with b: " + numBs); spark.stop(); }}

  

转载于:https://www.cnblogs.com/guidepost/p/8013075.html

转载地址:https://blog.csdn.net/weixin_33882452/article/details/93665802 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!

上一篇:swift - UIAlertView 的用法
下一篇:Bzoj2818: Gcd

发表评论

最新留言

留言是一种美德,欢迎回访!
[***.207.175.100]2024年04月10日 18时11分40秒