Hadoop安装配置记录

发布时间:2017-1-20 15:46:27 编辑:www.fx114.net 分享查询网我要评论
本篇文章主要介绍了"Hadoop安装配置记录",主要涉及到Hadoop安装配置记录方面的内容,对于Hadoop安装配置记录感兴趣的同学可以参考一下。

1、增加hadoop用户组及用户 sudo addgroup hadoop  sudo adduser -ingroup hadoop hadoop 修改hadoop权限:打开/etc/sudoers文件,给hadoop用户赋予root用户同样的权限: 在root   ALL=(ALL:ALL)   ALL 下添加 hadoop   ALL=(ALL:ALL)  ALL 2、修改hosts文件,指定namenode、datanodes 3、安装ssh-server,建立无密码登录环境 sudo apt-get install ssh openssh-server 创建ssh-key,,这里我们采用rsa方式 ssh-keygen -t rsa -P ""cd ~/.ssh (注:回车后会在~/.ssh/下生成两个文件:id_rsa和id_rsa.pub这两个文件是成对出现的) 进入~/.ssh/目录下,将id_rsa.pub追加到authorized_keys授权文件中,开始是没有authorized_keys文件的; cat id_rsa.pub >> authorized_keys 4、安装JDK 下载JDK包,解压缩到目录,配置/etc/profile 5、安装hadoop 下载Hadoop包,解压缩到目录。把文件夹权限修改为hadoop所有 sudo chown -R hadoop:hadoop hadoop 6、配置hadoop 修改文件hadoop-env.sh 主要是增加JAVA_HOME:export JAVA_HOME=/usr/lib/jvm/java-6-openjdk 修改core-site.xml   <configuration> <property>     <name>fs.default.name</name>     <value>hdfs://master:9000</value>      </property>   </configuration> 修改hdfs-site.xml   <configuration> <property> <name>dfs.name.dir</name> <value>/usr/local/hadoop/datalog1,/usr/local/hadoop/datalog2</value> </property> <property> <name>dfs.data.dir</name> <value>/usr/local/hadoop/data1,/usr/local/hadoop/data2</value> </property> <property> <name>dfs.replication</name> <value>2</value> </property> </configuration> 修改mapred-site.xml   <configuration>         <property>           <name>mapred.job.tracker</name>          <value>master:9001</value>          </property>        </configuration> 7、启动hadoop 初次启动需要先格式化:hadoop  namenode  -format 把namenode上的hadoop文件夹复制到所有datanode上。在namenode上启动hadoop:hadoop/bin/start-all.sh 使用jps查看当前的hadoop进程。在namenode上应该看到:   12177 NameNode 12328 SecondaryNameNode 12422 JobTracker 在datanode上应该可以看到 两个进程   12177 DataNode 12570 TaskTracker 查看hadoop当前状态 http://master:50030/ http://master:50060/  http://master:50070/  hadoop dfsadmin -report 安全模式的问题: 在hadoop刚启动的时候,可能无法对文件进行修改,提示当前在安全模式 org.apache.hadoop.dfs.SafeModeException: Cannot delete/user/hadoop/input. Name node is in safe mode. 可以手动关闭安全模式: hadoop dfsadmin -safemode leave 打开: hadoop dfsadmin –safemode enter

上一篇:[置顶] IT人员看待和预防癌症十大建议
下一篇:mac os 的vmware tools安装

相关文章

相关评论