【大数据实验-01】搭建环境
参考资料:
1.厦门大学数据库实验室 http://dblab.xmu.edu.cn/blog/2441-2/
2.厦门大学慕课《大数据技术原理与应用》http://www.icourse163.org/course/XMU-1002335004#/info
一、安装VirtualBox
VirtualBox 是一款开源虚拟机软件。VirtualBox 是由德国 Innotek 公司开发,由Sun Microsystems公司出品的软件,使用Qt编写,在 Sun 被 Oracle 收购后正式更名成 Oracle VM VirtualBox。Innotek 以 GNU General Public License (GPL) 释出 VirtualBox,并提供二进制版本及 OSE 版本的代码。使用者可以在VirtualBox上安装并且执行Solaris、Windows、DOS、Linux、OS/2 Warp、BSD等系统作为客户端操作系统。
1.下载
从 https://www.virtualbox.org/wiki/Downloads 下载:
VirtualBox 6.1.12 platform packages for Windows hosts,得到 VirtualBox-6.1.12-139181-Win.exe 文件。
2.安装
双击该文件,安装到 D:\Program Files目录下。
二、安装Ubuntu 20.04.1 LTS
1.下载 iso 文件
从 https://ubuntu.com/download/desktop 下载 Ubuntu 20.04.1 LTS 得到 ubuntu-20.04.1-desktop-amd64.iso 文件。
2.安装 Ubuntu到虚拟机
Step1. 在VirtualBox中新建 Ubuntu-64bit类型的虚拟机,命名为 Ubuntu20.04-dsj。注意,将存储配置为40GB。
Step2. 将ubuntu-20.04.1-desktop-amd64.iso文件添加到该虚拟机的虚拟光盘。
Step3. 启动该虚拟机,安装Ubuntu20.04。
3. 登录Ubuntu
林子雨的教程中为ubuntu添加了 名为hadoop的用户。这里我们不用额外添加hadoop用户,而是直接使用安装ubuntu操作系统时建立的用户:dsj。
4. 更新 apt
使用dsj登录ubuntu后,按 ctrl+alt+t 打开终端窗口,执行如下命令:sudo apt-get update
更新一下 apt,后续我们使用 apt 安装软件,如果没更新可能有一些软件安装不了。
5.安装VirtualBox Guest Additions
The Oracle VM VirtualBox Guest Additions for all supported guest operating systems are provided as a single CD-ROM image file which is called VBoxGuestAdditions.iso.
This image file is located in the installation directory of Oracle VM VirtualBox.
To install the Guest Additions for a particular VM, you mount this ISO file in your VM as a virtual CD-ROM and install from there.
6.安装SSH、配置SSH无密码登陆
集群、单节点模式都需要用到 SSH 登陆(类似于远程登陆,你可以登录某台 Linux 主机,并且在上面运行命令),Ubuntu 默认已安装了 SSH client,此外还需要安装 SSH server:
在命令终端里执行:sudo apt-get install openssh-server
安装后,可以使用如下命令登陆本机:ssh localhost
SSH首次登陆时会有如下提示,输入 yes 。然后按提示输入用户dsj的密码,就登陆到本机了。
但这样登陆是需要每次输入密码的,我们需要配置成SSH无密码登陆比较方便。
首先退出刚才的 ssh,就回到了我们原先的终端窗口,然后利用 ssh-****** 生成**,并将**加入到授权中:exit #退出刚才的 ssh localhostcd ~/.ssh/ #若没有该目录,请先执行一次ssh localhostssh-****** -t rsa #会有提示,都按回车就可以cat ./id_rsa.pub >> ./authorized_keys #加入授权
此时再用 ssh localhost 命令,无需输入密码就可以直接登陆了。