進度流程Demo
Outline 系統架構 註冊檔案格式(大小及數量) Demo process Q&A
系統架構 NAS1 mount DN1 MN mount Client SN mount NAS2 mount DN2 IP Client: 140.113.88.209 NAS1: 140.113.88.207 NAS2: 140.113.88.208 MN:140.113.88.232 DN1: 140.113.135.86 (user1:fxsh70133user1) DN2: 140.113.135.87 (user2:fxsh70133user2) SN: 140.113.135.88 (扮演monitor角色) 每個都是一台Machine MN: Master NameNode SN: Slave NameNode DN: Datanode Client directory structure /mnt/HDFS (fuse directory) /mnt/NAS1_NFS/ (NAS1) /mnt/NAS2_NFS/ (NAS2)
檔案大小及數量 1G以上 5個 最大檔案:8.5G 1G以下 25個
資料夾 最多三層 舉例: /mnt/NAS_USER/NAS1_DIR /mnt/NAS_USER/NAS1DIR/NAS1_DIR_2 /mnt/NAS_USER/NAS1DIR/NAS1_DIR_2/NAS1_DIR_3
Demo流程 註冊流程 1.Client先在DN1(user1)和DN2(user2)上註冊檔案(時間:5分鐘) 2.Client在/mnt/HDFS上看到剛剛註冊的檔案 檔案操作流程 1.Client在/mnt/HDFS上新增檔案(addFile1) 2.Client在/mnt/NAS1_NFS或/mnt/NAS2_NFS上看到檔案的超連結 3.Client在/mnt/HDFS上刪除檔案(addFile1) 4.Client在/mnt/NAS1_NFS或/mnt/NAS2_NFS上看到檔案的超連結被刪除 5. Client在/mnt/HDFS上修改NAS1上註冊的檔案(修改NAS1_File) 6. Client在/mnt/NAS1_NFS或/mnt/NAS2_NFS上看到檔案的超連結 4.原因是由hadoop決定較近的datnode存放檔案
Cell Recovery流程 Case1: 當SN不存在時,FSImage掛掉,且NameNode shutdown NameNode重新啟動後,Client在 /mnt/HDFS看到原來的檔案 Case2:當SN存在,FSImage掛掉,且NameNode shutdown Client重新設定NameNode位置,並重新啟動Fuse,在/mnt/HDFS看到原來的檔案 9. 原因是此註冊的檔案當刪除後,便無法存取此檔案的屬性
註冊流程
1.Client先在DN1和DN2上註冊檔案
2.Client在/mnt/HDFS上看到剛剛註冊的檔案
檔案操作流程
1.Client在/mnt/HDFS上新增檔案(addFile1)
2.Client在/mnt/NAS1_NFS或/mnt/NAS2_NFS上 看到檔案(addFile1)的超連結
3.Client在/mnt/HDFS上刪除檔案(addFile1)
4.Client在/mnt/NAS1_NFS或/mnt/NAS2_NFS上看到檔案的超連結被刪除
5. Client在/mnt/HDFS上修改NAS1上註冊的檔案 (修改NAS1_File)
6. Client在/mnt/NAS1_NFS或/mnt/NAS2_NFS上看到檔案的超連結
Cell Recovery流程
Case1: 當SN不存在時,FSImage掛掉, 且NameNode shutdown NameNode重新啟動後,Client在 /mnt/HDFS看到原來的檔案
Case2:當SN存在,FSImage掛掉, 且NameNode shutdown Client重新設定NameNode位置,並重新啟動Fuse,在/mnt/HDFS看到原來的檔案
Q&A