MooseFS 安裝與使用

MooseFS 安裝與使用

1、mfs系統安裝

官網詳細安裝說明:https://moosefs.com/download/

2、MooseFS是一個分散式儲存的框架,其具有如下特性:

  1. Free(GPL)
  2. 通用檔案系統,不需要修改上層應用就可以使用
  3. 可以線上擴容,體系架構可伸縮性極強。
  4. 部署簡單。
  5. 高可用,可設定任意的檔案冗餘程度(
  6. 可回收在指定時間內刪除的檔案
  7. 提供netapp,emc,ibm等商業儲存的snapshot特性
  8. google filesystem的一個c實現。
  9. 提供web gui監控介面。
  10. 提高隨機讀或寫的效率
  11. 提高海量小檔案的讀寫效率

3、mfs檔案系統結構

1)管理伺服器managing server (master) :負責各個資料儲存伺服器的管理,檔案讀寫排程,檔案空間回收以及恢復.多節點拷貝。單個機器管理整個檔案系統,用來儲存記錄每一個檔案的Metadata(記錄檔案的大小、檔案的屬性、檔案的位置,也包括非規則檔案的系統,如目錄、sockets、管道和裝置)
2)後設資料日誌伺服器Metalogger server(Metalogger):負責備份master伺服器的變化日誌檔案,檔案型別為changelog_ml.*.mfs,以便於在master server出問題的時候接替其進行工作。
3)資料儲存伺服器data servers (chunkservers):負責連線管理伺服器,聽從管理伺服器排程,提供儲存空間,併為客戶提供資料傳輸。

4)資料儲存伺服器data servers (chunkservers)  :負責連線管理伺服器,聽從管理伺服器排程,提供儲存空間,併為客戶提供資料傳輸。

5)客戶機client。

官網網路示意圖如下:

資料讀過程圖如下:

資料寫如下圖:

debain安裝moosefs:

1、 wget -O – http://ppa.moosefs.com/moosefs.key | apt-key add –

2、 echo “deb http://ppa.moosefs.com/moosefs-3/apt/debian/stretch stretch main” > /etc/apt/sources.list.d/moosefs.list

3、apt update

4、install 

安裝 Master Servers:
# apt install moosefs-master moosefs-cgi moosefs-cgiserv moosefs-cli

啟動master

mfsmaster start 

修改配置後:

mfsmaster reload

關閉:

mfsmaster stop

安裝 Chunkservers:
# apt install moosefs-chunkserver
安裝(可以不使用metaloggers) Metaloggers:
# apt install moosefs-metalogger
安裝 Clients:
# apt install moosefs-client

mfsmaster服務配置:

1、使用apt安裝的mfsmaster 編輯:/etc/mfs/   目錄下檔案:mfsmaster.cfg 配置chunkserver地址及監聽埠等,如下圖:

mfsexports.cfg配置允許mount地址,及mount的chunserver的目錄及讀寫許可權等:

2、mfschunkserver 配置,在檔案/etc/mfs/mfshdd.cfg配置檔案中加入要掛載的檔案目錄

在mfschunkserver.cfg中配置mfsmaster的ip地址以及埠如下圖:

mfs client端使用mfsmount命令掛載

mfsmount /opt/gzkgfiles/ -H 192.168.10.12