hadoop学习(7)—— 使用yarn运行mapreduce一个简单的wordcount示例
发布日期:2021-10-04 02:53:36
浏览次数:6
分类:技术文章
本文共 1006 字,大约阅读时间需要 3 分钟。
1.hdfs文件系统目录要求(建议)
/user /{username} --用户名 /mr --MapReduce类型应用 /wordcount --应用的名称 /input --要处理的文件 /output --输出结果的文件夹
2.按照目录格式创建输入文件夹(不用创建输出文件夹)
[root@hadoop-yarn hadoop-2.6.5]# bin/hdfs dfs -mkdir -p /user/root/mr/wordcount/input
3.手动创建测试数据
cyhp supergroup hadoop hello hdfs hadoop mapreduce hadoop world yarn
4.将输入数据放入HDFS中
[root@hadoop-yarn hadoop-2.6.5]# bin/hdfs dfs -put test-datas/wc.input /user/root/mr/wordcount/input/
5.使用yarn运行示例
[root@hadoop-yarn hadoop-2.6.5]# bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar wordcount /user/root/mr/wordcount/input/ /user/root/mr/wordcount/output/
6.查看输出
[root@hadoop-yarn hadoop-2.6.5]# bin/hdfs dfs -text /user/root/mr/wordcount/output/par*
[root@hadoop-yarn hadoop-2.6.5]# bin/hdfs dfs -text /user/root/mr/wordcount/output/par*cyhp 1hadoop 3hdfs 1hello 1mapreduce 1supergroup 1world 1yarn 1
转载地址:https://blog.csdn.net/leifeng_001/article/details/70184569 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!
发表评论
最新留言
能坚持,总会有不一样的收获!
[***.219.124.196]2024年03月29日 13时25分54秒
关于作者
喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!
推荐文章
13.1 项目规划
2019-04-27
13.2 自定义路由器设计
2021-06-30
13.3 controller设计
2021-06-30
13.4 日志和配置设计
2021-06-30
13.5 实现博客的增删改
2021-06-30
第十四章 扩展Web框架
2021-06-30
Go语言教程拓展基础篇 (查漏补缺, 献给初学者)
2021-06-30
14.1 静态文件支持
2021-06-30
OS X v10.8 to OS X v10.9 API 差异
2021-06-30
cocos2dx多线程以及线程同步 与 cocos2dx内存管理与多线程问题
2021-06-30
cocos2dx python项目创建
2021-06-30
程序员的成长历程,30岁以内的程序员请勿好大喜功!
2021-06-30
巨头夹缝求生存:菜鸟创业团队的辛酸苦辣 (本文转载)
2019-04-27
前富士康CEO程天纵:创新来自长尾,创业源于创客!
2019-04-27
SVN服务器搭建和使用
2019-04-27
cocos2dx 在windows上实现键盘输入
2019-04-27
iOS 也玩黑苹果,开发者已经将 iOS 底层内核成功运行在诺基亚机子上
2019-04-27
给2014年的中小手游开发商们,撑不下去就嫁了吧!
2019-04-27
NodeJS无所不能:细数10个令人惊讶的NodeJS开源项目
2019-04-27
崛起中的九大HTML5开发工具
2019-04-27