博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Win7 64位系统上Hadoop单机模式的安装及开发环境搭建
阅读量:4617 次
发布时间:2019-06-09

本文共 2800 字,大约阅读时间需要 9 分钟。

现在在window系统中安装hadoop,不需要再安装Cygwin等复杂的步骤,安装部署比以前简单了很多,以下是详细步骤:

1:安装JDK,设置好环境变量:

例如安装JDK1.8.0_144,在环境变量中添加JAVA_HOME: D:\Application\Java\jdk1.8.0_144,然后在Path中添加路径:

%JAVA_HOME%;%JAVA_HOME%\bin

2:下载Hadoop2.7.4 (),并解压到系统某个目录,例如:D:\Application\hadoop-2.7.4

3:下载window util for hadoop (,请注意需要与window系统的32位或64位一致),解压后覆盖到hadoop\bin目录,(如果在测试中有问题,请将hadoop.dll拷贝到C:\\Window\system32目录,本人在测试中没有遇到问题,所以没有拷贝),另外,此util与具体的hadoop版本是有关的,如果选用不同的hadoop版本,需要找到正确的util,目前hadoop并没有提供window util,所以如果无法在网上找到合适的版本,那需要自己编译 (附:window util 编译的方法:)

4:添加环境变量 HADOOP_HOME:D:\Application\hadoop-2.7.4 ,并添加到Path路径:%HADOOP_HOME%\bin

5:创建namenode及datanode目录,用来保存数据,例如 D:\Application\hadoop-2.7.4\data\namenode, D:\Application\hadoop-2.7.4\data\datanode

6:hadoop 相关配置文件设置,涉及到4个主要的配置文件:core-site.xml, hdfs-site.xml, mapped-site.xml, yarn-site.xml

  • core-site.xml:
fs.defaultFS
hdfs://localhost:9000
  • hdfs-site.xml:
dfs.replication
1
dfs.namenode.name.dir
/D:/Application/hadoop-2.7.4/data/namenode
dfs.datanode.data.dir
/D:/Application/hadoop-2.7.4/data/datanode
  • mapped-site.xml:
mapreduce.framework.name
yarn
  • yarn-site.xml: 
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.nodemanager.aux-services.mapreduce.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler
yarn.scheduler.minimum-allocation-mb
1024
yarn.nodemanager.resource.memory-mb
4096
yarn.nodemanager.resource.cpu-vcores
2

7:上面步骤完成设置后,就可以试着运行hadoop了

格式化namenode:进入到hadoop\bin目录,执行命令:hadoop namenode -format

启动或停止hadoop:进入到sbin目录,执行命令:start-all.cmd 或者 stop-all.cmd

查看进程:在命令行执行jps,在我的系统中能看到起来了几个进程,但没有具体信息,这个和用户权限有关

查看mapreduce job:localhost:8088

查看hdfs 文件系统:localhost:50070

8:测试hadoop自带的wordcount

进入到hadoop\bin目录,创建hdfs input文件夹,将本地文件上传到hdfs

hdfs dfs -mkdir /input

hdfs dfs -put /D:/people.txt /input

然后可以开始运行wordcount了:

hadoop jar /D:\Application\hadoop-2.7.4\share\hadoop\mapreduce\hadoop-mapreduce-examples-2.7.4.jar wordcount input output

以下是运行过程的控制台的输出及job 和 hdfs 的界面

 

 

 

转载于:https://www.cnblogs.com/benfly/p/8301588.html

你可能感兴趣的文章
PyTorch 1.0 中文官方教程:使用ONNX将模型从PyTorch传输到Caffe2和移动端
查看>>
LeetCode 4Sum
查看>>
2017最新高清仿驴妈妈旅行网大数据分析项目实战演练培训视频 228课
查看>>
MVC中子页面如何引用模板页中的jquery脚本
查看>>
BBC-The Race and a quiz
查看>>
大端小端
查看>>
IntelliJ IDEA 把java项目导出成可执行的jar
查看>>
DynamicReports
查看>>
鼠标经过图像改变实现
查看>>
二分查找法
查看>>
Spring3升级到Spring4时, 运行时出现找不到MappingJacksonHttpMessageConverter的情况
查看>>
详解缓冲区溢出攻击以及防范方法
查看>>
分布式事务解决方案(一) 2阶段提交 & 3阶段提交 & TCC
查看>>
android之网格布局和线性布局实现注册页面
查看>>
BZOJ 1014: [JSOI2008]火星人prefix( splay + hash )
查看>>
安装ejabberd2并配置MySQL为其数据库
查看>>
angular repeat
查看>>
android 图片圆角化控件
查看>>
java第三次作业
查看>>
HP Jack介绍
查看>>