tachyon→内存级分布式文件系统
tachyon→内存级分布式文件系统
一、简介
1.tachyon是什么？
- 诞生于Berkeley的AMPLab实验室，由该实验室的在读博士李浩源创立。
- 是一个开源分布式存储系统。
- 能够为集群框架提供内存级速度的跨集群文件共享服务，官方号称最高比HDFS吞吐量高300倍。
2.tachyon的优点？
- 高性能
- 高容错
3.tachyon的缺点？
- 社区资料比较少，不太稳定
4.tachyon的应用场景？
- 大型高并发网站，对存储速度要求高
5.tachyon版本下载
- https://github.com/Alluxio/alluxio/releases
- 下载如下图所示。
二、tachyon安装
1.软件环境
- CentOS7
- JDK1.8
- tachyon0.6.4
2.安装准备
输入 yum -y install cpp
输入 yum -y install binutils
输入 yum -y install glibc
输入 yum -y install glibc-kernheaders
输入 yum -y install glibc-common
输入 yum -y install glibc-devel
输入 yum -y install gcc
输入 yum -y install make
3.集群规划
- 1台master
- 2台worker
4.tachyon单机版
- 上传tar包到 /usr/local/tachyon 并解压
- 进入tachyon的conf目录，将tachyon-env.sh.template复制为tachyon-env.sh
- 配置环境变量
- 任意位置输入tachyon format格式化
- 输入 tachyon-start.sh local启动
- 输入 tachyon-stop.sh 停止
5.tachyon完全分布式
- 安装JDK1.7
- 上传tar包到 /usr/local/tachyon 并解压，进入解压后的目录
- 配置环境变量
- 进入tachyon中的conf目录，修改workers配置文件，将从节点主机名或IP地址写入,将slaves中的内容删掉
- 将tachyon-env.sh.template复制为tachyon-env.sh，修改以下内容，红色内容自行修改，master为主节点，第二项为hdfs的地址
在文件首加入：
export JAVA_HOME=/usr/local/java/jdk1.8.0_102/
- 修改配置文件：
export TACHYON_MASTER_ADDRESS=master
export TACHYON_UNDERFS_ADDRESS=hdfs://hadoop:9000
- 如果从节点没有tachyon文件夹，输入 scp -r /usr/local/tachyon/ [email protected]node:/usr/local/ 将文件夹从主节点拷贝到所有从节点，红色位置为从节点的主机名
- 主节点中输入 tachyon format 格式化
6.tachyon完全分布式的启动
- 任意位置输入 tachyon-start.sh all Mount 启动主节点和所有从节点
- jps查看主节点进程为TachyonMaster，从节点进程为TachyonWorker
- 页面访问主节点的19999端口，出现如下界面
7.tachyon完全分布式测试
- 在hadoop的hadoop-env.sh配置文件最后，加入如下内容
export HADOOP_CLASSPATH=/usr/local/tachyon/tachyon-0.6.4/client/target/tachyon-client-0.6.4-jar-with-dependencies.jar
- 启动hadoop的5个进程
- 在客户端输入 hadoop jar /usr/local/hadoop/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount -libjars /usr/local/tachyon/tachyon-0.6.4/client/target/tachyon-client-0.6.4-jar-with-dependencies.jar -Dtachyon.user.file.understoragetype.default=SYNC_PERSIST hdfs://192.168.11.133:9000/LICENSE.txt tachyon://192.168.11.128:19998/wordcount/output 执行一个mapReduce
- 执行成功后，在客户端输入 tachyon tfs cat 文件名 ，查看文件内容
8.tachyon服务端停止
- 方法一：
- 进入安装后的bin目录
- 输入 tachyon-stop.sh 即可停止
- 方法二：
- 输入 ps aux|grep tachyon查看进程
- 或者 kill -9 pid（redis的进程id） 强制杀死master进程