修改CentOs7 上Docker預設檔案系統DeviceMapper為OverlayFS

NO IMAGE
1 Star2 Stars3 Stars4 Stars5 Stars 給文章打分!
Loading...

最近一直在研究Mesos, Marathon跟Docker結合的容器雲平臺,Mesos 框架已經搭好,並且Marathon也可以實現簡單的Docker應用管理了,然後今天嘗試搭建一下mesosphere公司的DC/OS平臺(https://dcos.io/),利用這個平臺可以很容易實現基於容器的雲端計算平臺的資源排程,管理,應用分配,負載均衡,動態擴充套件,故障轉移等。DC/OS底層系統也是基於Docker的,根據官方文件建議,我們把IBM
Bluemix 提供的CentOS7系統上Docker預設的檔案系統DeviceMapper改為OverlayFS。

Docker最開始支援的檔案系統是Aufs的,是一種Union File System,原理就是將多個目錄掛在到同一個虛擬目錄下,整個檔案系統是一個分層的概念,請看圖:

wKiom1dIIWXAoDIbAAJ5OoZjH4s479.png

然後RedHat系列的系統是不支援Aufs的,當Docker變得越來越流行的時候,RedHat公司發行我也得插一腳進去,然後RedHat公司就對這個Aufs研究了一下,然後說“恩,我們牛逼,我要開發一套新的檔案系統用來執行Docker”。後來這套系統就是基於自家的在kernel2.6之後被引進的DeviceMapper技術。主要用到Docker上的就是Snapshot和Thinly-provisioned Snapshot, 這個Snapshot在LVM邏輯卷管理場景下用來建立虛擬快照的,Thin-Provisioning是一項利用虛擬化方法減少物理儲存部署的技術,可最大限度提升儲存空間利用率。當這兩個技術結合起來就是DeviceMapper給RedHat系統實現Docker檔案系統的最後方案了。其實這個方案也是基於分層的理論給每一層映象建立快照。如圖:

wKioL1dIJdHwqFDHAAD_qU7DrCc141.jpg

然而DeviceMapper的效能並不是那麼的好,DC/OS官網給出的解釋是會出現unknown issue並且不能再Docker裡面執行Docker,DeviceMapper預設情況下建立loop-lvm的方式來構建映象和容器的snapshots。但是在生產環境下Docker官方建議採用直連的lvm捲來構建映象和容器,然後在啟動Docker Daemon的時候使用如下方式來載入:

1
2
3
4
5
{
     "storage-driver""devicemapper",
     "storage-opts": [         "dm.thinpooldev=/dev/mapper/docker-thinpool",         "dm.use_deferred_removal=true"
     ]
 }

在系統裡執行docker info即可檢視到使用的是什麼檔案系統:

這是Cent6.5系統的,發現使用的是devicemapper,而且Data File是loop0:


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
# docker info
Containers: 11
Images: 63
Storage Driver: devicemapper
 Pool Name: docker-252:1-679218-pool
 Pool Blocksize: 65.54 kB
 Backing Filesystem: extfs
 Data file/dev/loop0
 Metadata file/dev/loop1
 Data Space Used: 2.221 GB
 Data Space Total: 107.4 GB
 Data Space Available: 9.648 GB
 Metadata Space Used: 4.166 MB
 Metadata Space Total: 2.147 GB
 Metadata Space Available: 2.143 GB
 Udev Sync Supported: true
 Deferred Removal Enabled: false
 Data loop file/var/lib/docker/devicemapper/devicemapper/data
 Metadata loop file/var/lib/docker/devicemapper/devicemapper/metadata
 Library Version: 1.02.95-RHEL6 (2015-09-08)
Execution Driver: native-0.2
Logging Driver: json-file
Kernel Version: 2.6.32-573.22.1.el6.x86_64
Operating System: <unknown>
CPUs: 2
Total Memory: 2.819 GiB
Name: bastion.shanker
ID: SJVK:KAXO:ZDAB:XWSM:O45I:EF6U:GE2T:RU3Y:NW6B:K4IQ:DYEN:B4BJ


這臺是Ubuntu12.04的,使用的Aufs系統:


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
# docker info
Containers: 1
 Running: 0
 Paused: 0
 Stopped: 1
Images: 38
Server Version: 1.10.3
Storage Driver: aufs
 Root Dir: /var/lib/docker/aufs
 Backing Filesystem: extfs
 Dirs: 101
 Dirperm1 Supported: false
Execution Driver: native-0.2
Logging Driver: json-file
Plugins: 
 Volume: local
 Network: host bridge null
Kernel Version: 3.13.0-24-generic
Operating System: Ubuntu 14.04.1 LTS
OSType: linux
Architecture: x86_64
CPUs: 1
Total Memory: 1.463 GiB
Name: dbslave.shanker
ID: IDR4:IA4B:3GDE:O6KF:IACI:BQE2:5SJL:25CA:4KV3:OCIG:RGYC:N22G
Username: shanker
Registry: https://index.docker.io/v1/
WARNING: No swap limit support


這臺是CentOS7.2系統,使用的是我更改後的OverlayFS系統:


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
# docker info
Containers: 3
 Running: 0
 Paused: 0
 Stopped: 3
Images: 5
Server Version: 1.11.1
Storage Driver: overlay
 Backing Filesystem: xfs
Logging Driver: json-file
Cgroup Driver: cgroupfs
Plugins: 
 Volume: local
 Network: bridge null host
Kernel Version: 3.10.0-327.18.2.el7.x86_64
Operating System: CentOS Linux 7 (Core)
OSType: linux
Architecture: x86_64
CPUs: 1
Total Memory: 3.703 GiB
Name: ukcent2.novalocal
ID: 7Q46:GGPP:HOLP:5ICX:WXV7:ZC73:S45I:HVC2:UEWX:FL6L:DMSC:TVYH
Docker Root Dir: /var/lib/docker
Debug mode (client): false
Debug mode (server): false
Registry: https://index.docker.io/v1/

然後我們今天要做的是放棄DeviceMapper,使用OverlayFS來作為預設的儲存系統。首先要升級到CentOS7.2,有一個XFS的Bug在7.2系統被修復了。


1.    將OverlayFS加到module目錄下

1
echo "overlay" /etc/modules-load.d/overlay.conf


2.    reboot 系統,執行lsmod看時候看到overlay

1
2
# lsmod | grep over
overlay                42451  0


3.    將Docker源新增到系統裡

1
2
3
4
5
6
7
8
cat >/etc/yum.repos.d/docker.repo<<E
[dockerrepo]
name=Docker Repository
baseurl=https://yum.dockerproject.org/repo/main/centos/$releasever/
enabled=1
gpgcheck=1
gpgkey=https://yum.dockerproject.org/gpg
E


4.    配置Docker Daemon用OverlayFS啟動

1
2
3
4
5
6
sudo mkdir -p /etc/systemd/system/docker.service.d
sudo cat >/etc/systemd/system/docker.service.d/override.conf <<E
[Service] 
ExecStart= 
ExecStart=/usr/bin/docker daemon --storage-driver=overlay -H fd:// 
E


5.    安裝Docker,設定開機自啟動

1
2
3
sudo yum -y install docker-engine
sudo sysctemctl start docker
sudo systemctl enable docker


6.    Docker info 看一下,如果看到

1
Storage Driver: overlay

那就證明更改成功,已經從Devicemapper換到了ovelay了。


附:Docker目前支援的檔案系統

wKioL1dIS1Lx3I0CAAA02T6uBaQ601.png


參考:

https://docs.docker.com/engine/userguide/storagedriver/selectadriver/

https://docs.docker.com/engine/userguide/storagedriver/aufs-driver/

https://dcos.io/docs/1.7/administration/installing/custom/system-requirements/#docker

http://coolshell.cn/articles/17200.html

http://www.infoq.com/cn/articles/analysis-of-docker-file-system-aufs-and-devicemapper

相關文章

程式語言 最新文章