hadoop在linux系统下的单节点伪分布式配置
实验环境： rhel6.3 && iptables and selinux disabled jdk: jdk-6u26-linux-x64.bin
hadoop版本: hadoop-1.2.1.tar.gz
下载 && 安装 JDK
#sh jdk-6u26-linux-x64.bin#mv jdk1.6.0_32/ /usr/local/jdk
下载hadoop源码包
解压至指定目录 && 精简目录名称
#tar zxf hadoop-1.2.1.tar.gz -C /usr/local#mv hadoop1.2.1/ hadoop
配置JAVA环境变量
#mv hadoop1.2.1/ hadoop#cd /usr/local/hadoop/#vim conf/hadoop-env.sh export JAVA_HOME=/usr/local/hadoop/jdk
编辑配置文件
#vim core-site.xml#vim hdfs-site.xml fs.default.name hdfs://localhost:9000 #vim mapred-site.xml dfs.replication 1 mapred.job.tracker localhost:9001
check that you can ssh to the localhost without a passphrase
#ssh-keygen#ssh-copy-id localhost#ssh localhost
格式化文件系统 && 启动所有服务
#cd /usr/local/hadoop/bin/#./hadoop namenode -format#./start-all.sh
查看所有服务进程以及PID
#/usr/local/hadoop/jdk/bin/jps5147 Jps2460 TaskTracker2176 DataNode2276 SecondaryNameNode2077 NameNode2350 JobTracker
检测
上传/usr/local/hadoop/conf/ 至 input/
#cd /usr/local/hadoop#bin/hadoop fs -put conf input#bin/hadoop fs -ls drwxr-xr-x - root supergroup 0 2014-03-08 03:22 /user/root/input
outpot/ 目录
#bin/hadoop jar hadoop-examples-1.1.2.jar grep input output 'dfs[a-z.]+'#bin/hadoop fs -ls#bin/hadoop fs -cat output/* #查看output目录1 dfs.replication1 dfs.server.namenode.1 dfsadmin
Hadoop 重要的端口：
1.Job Tracker 管理界面：500302.HDFS 管理界面 ：500703.HDFS通信端口：90004.MapReduce通信端口：90011. HDFS 界面
http://localhost:500702. MapReduce 管理界面 http://holocalhost:50030HDFS:
NameNode ：管理节点
DataNode ：数据节点
SecondaryNamenode : 数据源信息备份整理节点
MapReduce:
JobTracker ：任务管理节点
Tasktracker ：任务运行节点