banner

Hadoop配置和启动Hadoop方法详解-大数据技术 -

作者: 大数据观察来源: 大数据观察时间:2017-02-08 18:47:460

本节和大家学习一下如何进行Hadoop配置与启动Hadoop方面的知识,相信通过本节的介绍大家对Hadoop配置和启动Hadoop方法有一定的认识,希望本节的介绍对你的学习有所帮助。

Hadoop配置与启动Hadoop

Hadoop三种模式:

StandaloneOperation:只有一个Java虚拟机在跑,完全没有分布式的成分。 Pseudo-DistributedOperation:在同一台机器上启动独立数个JVM进程,进行“分布式”操作。 Fully-DistributedOperation:真正的可以运行于多台机器上的分布式模式。(我们按这种方式进行配置)

环境:

第一台:win7+cygwin 第二台:虚拟机CentOS.5.3

实现目标:

cygwin作为master,部署上NameNode+JobTracker,IP:192.168.220.1 CentOS作为slaver,部署上DataNode+TaskTracker,IP:192.168.14.128

Hadoop配置准备工作:

1.免密码SSH登录,cygwin=》CentOS,见:http://efeil.blog.163.com/blog/static/1189022972010210544494/ 2.两个系统Hosts配置相同,为:192.168.220.1hadoop-master 192.168.14.128hadoophadoop-slave01

3.Hadoop配置中conf/core-site.xml配置

hadoop.tmp.dir e:/tmp/hdfs-gaoyanfei Abaseforothertemporarydirectories.

fs.default.name hdfs://hadoop-master:9000

4.Hadoop配置中conf/hdfs-site.xml配置:

dfs.replication 1

5.Hadoop配置中conf/mapred-site.xml配置:

mapred.job.tracker hadoop-master:9001

6.masters配置内容:hadoop-master 7.slaves配置内容:hadoop-slave01

8.在Cygwin下启动: 1.bin/hadoopnamenode-format 2.bin/start-all.sh。本节关于Hadoop配置与启动Hadoop介绍到这里

banner
看过还想看
可能还想看
热点推荐

永洪科技
致力于打造全球领先的数据技术厂商

申请试用
Copyright © 2012-2024开发者:北京永洪商智科技有限公司版本:V10.2
京ICP备12050607号-1京公网安备110110802011451号 隐私政策应用权限