雲端分散式計算平台 Hadoop安裝使用.

Presentation on theme: "雲端分散式計算平台 Hadoop安裝使用."— Presentation transcript:

1 雲端分散式計算平台 Hadoop安裝使用

2 Outline Hadoop簡介 Map-Reduce架構 VM安裝Ubuntu Hadoop安裝&設定 參考

3 Hadoop簡介 Hadoop是Apache底下的開放原始碼計劃 (Open source project)以，以java寫成，可以提供大量資料的分散式運算環境。 Hadoop中包括許多子計劃，其中Hadoop MapReduce如同Google MapReduce，提供分散式運算環境、Hadoop Distributed File System如同Google File System，提供大量儲存空間。Hadoop 的HBase是一個類似 BigTable 的分散式資料庫 ，還有其他部份可用來將這三個主要部份連結在一起，方便提供整合的雲端服務。

4 Map-Reduce架構 MapReduce是一個分散式程式框架，讓服務開發者可以很簡單的撰寫程式，利用大量的運算資源，加速處理龐大的資料量
一個MapReduce的運算工作可以分成兩個部份:Map和Reduce，大量的資料在運算開始的時候，會被系統轉換成一組組 (key, value) 的序對並自動切割成許多部份，分別傳給不同的Mapper來處理，Mapper處理完成後也要將運算結果整理成一組組 (key, value) 的序對，再傳給Reducer整合所有Mapper的結果，最後才能將整體的結果輸出

5 Example wordcount

6 Ubuntu安裝 VM安裝ubuntu server-i386.iso

7

8 Ubuntu安裝(續) 設定hostname

9 Ubuntu安裝(續)

10 Ubuntu安裝(續) Choose Open SSH server to install

11 Ubuntu安裝(續)

12 Ubuntu安裝(續) 輸入帳號密碼驗證安裝結果

13 Ubuntu安裝(續) 安裝完成

14 安裝jdk 取得root權限 先取得軟體源，再安裝JDK
sudo apt-get install python-software-properties sudo add-apt-repository ppa:ferramroberto/java sudo apt-get update sudo apt-get install sun-java6-jdk

15 建立hadoop使用者 使用addgroup hadoop指令建立新的群組
使用adduser –ingroup hadoop hadoop指令新增使用者hadoop至hadoop群組中 使用vim /etc/passwd指令編輯passwd檔案

16 修改sudo權限 最後一行 “x”刪除掉 編輯sudoer 加入 存檔離開 visudo vim /etc/sudoer
hadoop ALL=(ALL) ALL 使用者帳號 登入者的來源主機名稱=(可切換的身份) 可下達的指令 存檔離開 Ctrl+X :wq

17 ssh免密碼登入 使用 su – hadoop指令切換使用者為Hadoop 產生key
ssh-keygen –t rsa –P “” 將 public key拷貝到遠端的電腦後, 加到該user的 .ssh/authorized_keys 中 cat /home/hadoop/.ssh/id_rsa.pub >> /home/hadoop/.ssh/authorized_keys 離開切換回使用者root

18 Hadoop安裝 下載 hadoop-1.2.1 移動至/usr/local 下解壓縮
wget 移動至/usr/local 下解壓縮 mv hadoop tar.gz /usr/local cd /usr/local tar –xvf hadoop tar.gz

19 Hadoop安裝(續) 改變檔案擁有者 製作捷徑到使用者hadoop的home下 刪除下載的檔案
chown –R hadoop:hadoop hadoop-1.2.1 製作捷徑到使用者hadoop的home下 ln –s hadoop-1.2.1/ /home/hadoop/hadoop 刪除下載的檔案 rm –rf hadoop tar.gz

20 設定 /etc/hosts 使用 vi /etc/hosts指令修改etc資料夾下的hosts檔案
加入 u02 設定這個ip為自己

21 設定 interfaces 先查看網卡編號 ifconfig -a

22 使用 vim /etc/network/interfaces 指令修改interfaces檔案

23 Hadoop設定(續) 使用 /etc/init.d/networking restart 指令重開網路
使用ifconfig –a 查看目前網路設定是否改為設定的結果

24 Hadoop設定 使用 su – hadoop 指令改變使用者為Hadoop
cd ~/hadoop or cd /usr/local/hadoop-1.2.1 使用vim conf/hadoop-env.sh指令修改檔案 加入 export JAVA_HOME=/usr/lib/jvm/java-6-sun 及 export HADOOP_OPTS=“-Djava.net.preferIPv4Stack=true”

25 Hadoop設定(續) 使用 mkdir ~/single 指令新增資料夾 使用 vim conf/core-site.xml 指令修改檔案
加入圖示中之兩個property

26 Hadoop設定(續) 使用 vim conf/mapred-site.xml 指令修改檔案 加入圖示中之property

27 Hadoop設定(續) 使用 vim conf/hdfs-site.xml 指令修改檔案 加入圖示中之property

28 Hadoop設定(續) 使用 vim conf/masters指令修改masters檔案 設定master僅有u02
使用 vim conf/slaves指令修改slaves檔案 設定slave僅有u02

29 Hadoop設定(續) 使用 bin/hadoop namenode –format 指令啟用namenode及查看設定
使用 bin/start-all.sh 開啟系統

30 Hadoop設定(續) 使用 jps 指令查看目前開啟之相關processes
使用 bin/hadoop dfsadmin –report 指令查看目前dfs之報告

31 Hadoop設定(續) 使用 bin/hadoop dfsadmin –safemode leave 指令離開安全模式
使用 bin/hadoop dfs –mkdir input 新增input資料夾 使用 bin/hadoop dfs –lsr指令 編輯single.txt

32 Hadoop設定(續) 編輯single.txt 輸入一段文字以利使用example範例之wordcount程式
bin/hadoop dfs –put single.txt input

33 Hadoop設定(續) 使用bin/hadoop jar hadoop example.jar wordcount input output指令執行wordcount

34 Hadoop設定(續) 看結果 bin/hadoop dfs –cat output/part-r-00000

35 Web interface 修改windows中C:\Windows\System32\drivers\etc\hosts檔案
加入 u02 設定此IP為u02

36 Web interface (續) 打開瀏覽器網址輸入 可察看目前之使用情形

37 Web interface(續) 打開瀏覽器網址輸入 可察看job使用情形

38 練習 架設兩台node 執行更大的檔案 編譯wordcount程式

39

40 新增node設定 在第一個node 在第二個node 編輯/etc/hosts 增加node 2 的IP與hostname 重新啟動網卡
編輯~/hadoop/conf/slaves 增加node 2的hostname 在第二個node 修改網卡設定 指派node 2 的IP

41 重新格式化與執行Hadoop 因Node 1 為 master，故在Node 1操作
刪除 node 1 & 2 的Hadoop tmp資料夾 rm –r ~/single/hadoop-hadoop 格式化namenode 啟動hadoop

42 編譯程式 下載 原始碼 WordCount.java 編譯檔Makefile Input 資料
wget 編譯檔Makefile wget Input 資料 wget ~/hadoop/bin/hadoop dfs –mkdir input2 ~/hadoop/bin/hadoop dfs –put textfile input2/ make clean make

43 參考