标签（空格分隔）： hadoop
概述
上一节我们已经搭建了集群，那么这节我们从google的三架马车中的GFS，文件存储系统hdfs操作开始学习。
1.环境搭建
window环境搭建
1.1.HADOOP_HOME配置流程
首先我们在windows操作需要有window操作的hadoop相关操作的一些本地native库，所以需要配置HADOOP_HOME
hadoop window编译类库可于此找对应的版本之后做HADOOP_HOME环境配置。
有条件可以自己编译，但是window的编译还挺麻烦的
我的电脑->右键->属性->高级系统设置->高级->环境变量
跟JAVA_HOME的环境配置一致 需要添加HADOOP_HOME并且在path上增加 HADOOP_HOME/bin
1.2hosts配置
C:\Windows\System32\drivers\etc\hosts
添加相应的域名映射 自己做好ip与域名的映射
192.168.52.131 hadoop1
192.168.52.132 hadoop2
192.168.52.133 hadoop3
192.168.52.134 hadoop4
2.javaclient操作
maven的相关包
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>${hadoop-core-version}</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-hdfs</artifactId>
<version>${hadoop-core-version}</version>
</dependency>
或者
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>${hadoop-core-version}</version>
</dependency>
可以看到hadoop-client中有依赖了common和hdfs包
2.1 获取FileSystem的三个静态方法
默认是操作本地文件的
2.2 具体类
测试类
public class HdfsOperate {
private FileSystem fs;
@Before
public void beforeInit() throws Exception{
Configuration conf = new Configuration();
conf.set("fs.defaultFS","hdfs://hadoop1:9000");//可不配置默认操作本地的
fs = FileSystem.get(new URI("hdfs://hadoop1:9000"),conf,"hadoop");
}
//上传测试
@Test
public void testCopyFromLocalFile() throws IOException {
fs.copyFromLocalFile(new Path("E:\\hadooptest\\files\\a.txt"),new Path("/"));
fs.close();
}
//下载测试
@Test
public void testDownLoad() throws IOException {
fs.copyToLocalFile(new Path("/a.txt"),new Path("d:/"));
fs.close();
}
}
hdfs的操作以FileSystem为操作入口类，Configuration为配置类
fs的操作主要包括拷贝，上传，下载，添加到某个文件，获取文件夹下的文件列表等操作，详细操作可自己参照具体的api。
流操作
由于配合mr的执行，所以hdfs提供了流操作，流操作以Inputsteam，OutputStream的形式，提供seek跳转到某个文件的位置，所以在mr读取数据操作的时候比较方便，流操作api后续补上主要是open，seek，create这几个方法。
3.shell操作
hadoop fs
比如： hadoop fs -cat /a.txt 查看根路径下的a.txt文件内容
这里的操作其实跟linux相关操作差不多，只是多了几个从hdfs和本地交互的相关命令行
4界面访问
dfs.namenode.http-address 在hdfs-size.xml中可配置该参数，实行界面访问
，默认就是端口号50070 通过界面我们可以查看datanode的存活状态，还有就是文件访问，可简单查看刚刚上传的文件。