進度流程Demo.

Presentation on theme: "進度流程Demo."— Presentation transcript:

1 進度流程Demo

2 Outline 系統架構 註冊檔案格式(大小及數量) Demo process Q&A

3 系統架構 NAS1 mount DN1 MN mount Client SN mount NAS2 mount DN2
IP Client: NAS1: NAS2: MN: DN1: (user1:fxsh70133user1) DN2: (user2:fxsh70133user2) SN: (扮演monitor角色) 每個都是一台Machine MN: Master NameNode SN: Slave NameNode DN: Datanode Client directory structure /mnt/HDFS (fuse directory) /mnt/NAS1_NFS/ (NAS1) /mnt/NAS2_NFS/ (NAS2)

4 檔案大小及數量 1G以上 5個 最大檔案:8.5G 1G以下 25個

5 資料夾 最多三層 舉例: /mnt/NAS_USER/NAS1_DIR /mnt/NAS_USER/NAS1DIR/NAS1_DIR_2
/mnt/NAS_USER/NAS1DIR/NAS1_DIR_2/NAS1_DIR_3

6 Demo流程 註冊流程 1.Client先在DN1(user1)和DN2(user2)上註冊檔案(時間:5分鐘)
2.Client在/mnt/HDFS上看到剛剛註冊的檔案 檔案操作流程 1.Client在/mnt/HDFS上新增檔案(addFile1) 2.Client在/mnt/NAS1_NFS或/mnt/NAS2_NFS上看到檔案的超連結 3.Client在/mnt/HDFS上刪除檔案(addFile1) 4.Client在/mnt/NAS1_NFS或/mnt/NAS2_NFS上看到檔案的超連結被刪除 5. Client在/mnt/HDFS上修改NAS1上註冊的檔案(修改NAS1_File) 6. Client在/mnt/NAS1_NFS或/mnt/NAS2_NFS上看到檔案的超連結 4.原因是由hadoop決定較近的datnode存放檔案

7 Cell Recovery流程 Case1: 當SN不存在時，FSImage掛掉，且NameNode shutdown
NameNode重新啟動後，Client在 /mnt/HDFS看到原來的檔案 Case2:當SN存在，FSImage掛掉，且NameNode shutdown Client重新設定NameNode位置，並重新啟動Fuse，在/mnt/HDFS看到原來的檔案 9. 原因是此註冊的檔案當刪除後，便無法存取此檔案的屬性

8 註冊流程

9 1.Client先在DN1和DN2上註冊檔案

10 2.Client在/mnt/HDFS上看到剛剛註冊的檔案

11 檔案操作流程

12 1.Client在/mnt/HDFS上新增檔案(addFile1)

13 2.Client在/mnt/NAS1_NFS或/mnt/NAS2_NFS上 看到檔案(addFile1)的超連結

14 3.Client在/mnt/HDFS上刪除檔案(addFile1)

15 4.Client在/mnt/NAS1_NFS或/mnt/NAS2_NFS上看到檔案的超連結被刪除

16 5. Client在/mnt/HDFS上修改NAS1上註冊的檔案 (修改NAS1_File)

17 6. Client在/mnt/NAS1_NFS或/mnt/NAS2_NFS上看到檔案的超連結

18 Cell Recovery流程

19 Case1: 當SN不存在時，FSImage掛掉， 且NameNode shutdown
NameNode重新啟動後，Client在 /mnt/HDFS看到原來的檔案

20

21 Case2:當SN存在，FSImage掛掉， 且NameNode shutdown
Client重新設定NameNode位置，並重新啟動Fuse，在/mnt/HDFS看到原來的檔案

22

23 Q&A