Spark - 伪分布式,配置文件
发布日期:2021-06-30 19:50:36 浏览次数:3 分类:技术文章

本文共 1113 字,大约阅读时间需要 3 分钟。

1. hadoop

1.1 hadoop-env.sh 

配置JAVA_HOME

1.2 core-site.xml

hadoop.tmp.dir
file:{}
Abase for other temporary directories.
fs.defaultFS
hdfs://localhost:9000

1.3  hdfs-site.xml

dfs.replication
1
dfs.namenode.name.dir
file:{}tmp/dfs/name
dfs.datanode.data.dir
file:{}tmp/dfs/data

2. spark

2.1 spark-env.sh

JAVA_HOME

2.2 spark-defaults.conf

spark.local.dir

3. .profile

JAVA_HOME=/home/peerslee/opt/jdkSCALA_HOME=/home/peerslee/opt/scalaHADOOP_HOME=/home/peerslee/opt/hadoopSPARK_HOME=/home/peerslee/opt/spark-hadoopPATH=$SPARK_HOME/sbin:$SPARK_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$SCALA_HOME/bin:$JAVA_HOME/bin:$PATHexport HADOOP_HOME SCALA_HOME JAVA_HOME PATH

转载地址:https://lipenglin.blog.csdn.net/article/details/60966516 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!

上一篇:Java - MongoDB常用操作
下一篇:Java - 图片序列化

发表评论

最新留言

感谢大佬
[***.8.128.20]2024年04月17日 20时14分44秒