Spark - 伪分布式,配置文件
发布日期:2021-06-30 19:50:36
浏览次数:3
分类:技术文章
本文共 1113 字,大约阅读时间需要 3 分钟。
1. hadoop
1.1 hadoop-env.sh
配置JAVA_HOME
1.2 core-site.xml
hadoop.tmp.dir file:{} Abase for other temporary directories. fs.defaultFS hdfs://localhost:9000
1.3 hdfs-site.xml
dfs.replication 1 dfs.namenode.name.dir file:{}tmp/dfs/name dfs.datanode.data.dir file:{}tmp/dfs/data
2. spark
2.1 spark-env.sh
JAVA_HOME
2.2 spark-defaults.conf
spark.local.dir
3. .profile
JAVA_HOME=/home/peerslee/opt/jdkSCALA_HOME=/home/peerslee/opt/scalaHADOOP_HOME=/home/peerslee/opt/hadoopSPARK_HOME=/home/peerslee/opt/spark-hadoopPATH=$SPARK_HOME/sbin:$SPARK_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$SCALA_HOME/bin:$JAVA_HOME/bin:$PATHexport HADOOP_HOME SCALA_HOME JAVA_HOME PATH
转载地址:https://lipenglin.blog.csdn.net/article/details/60966516 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!
发表评论
最新留言
感谢大佬
[***.8.128.20]2024年04月17日 20时14分44秒
关于作者
喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!
推荐文章
My notes about backup to ubuntu
2019-04-30
linux 查看分区和文件大小
2019-04-30
IP TCP UDP 结构
2019-04-30
Not using PCAP_FRAMES 解释(snort中)
2019-04-30
快慢指针模板
2019-04-30
有关反转链表模板(汇总)
2019-04-30
c++穷举法求最大公约数和最小公倍数的实例中如何调用max和min函数
2019-04-30
Linux 基于端口的虚拟主机配置
2019-04-30
c语言实现二叉树(二叉链表)非递归后序遍历
2019-04-30
opengl 颜色
2019-04-30
qtwebengine编译
2019-04-30
webgl
2019-04-30
GPGPU编程技术-- 替换默认的着色器
2019-04-30
GPGPU编程技术--与OpenGL通信
2019-04-30
WebGl高级编程--创建基本的WebGL示例
2019-04-30
各种设计模式的UML类图
2019-04-30
C++类型转换
2019-04-30
html+css
2019-04-30
WebGL知识点
2019-04-30
opengl 知识点
2019-04-30