ceph rbd

Создаем pool,ассоциированный с rbd c 128-ю pg,как рекомендует документация,если нод меньше 5.
На ноде
ceph osd pool create rbd 128
rbd pool init rbd

Ставим необходимый софт на клиента
ceph-deploy --release luminous install ceph-client
и копируем конфиги
ceph-deploy admin ceph-client
На клиенте(там где будем использовать блочное устройство)
rbd create image1 --size 4096 --image-feature layering
rbd map image1 --name client.admin
mkfs.ext4 -m0 /dev/rbd/rbd/image1

Для того,чтобы образ мапился автоматическипри загрузке ОС добавляем в файл /etc/ceph/rbdmap примерно следующее
rbd/image1 id=admin,keyring=/etc/ceph/ceph.client.admin.keyring
И включаем соответсвующий сервис
systemctl enable rbdmap.service

По умолчанию фактор репликации пула равен 3 (переменные size и min_size http://docs.ceph.com/docs/master/rados/configuration/pool-pg-config-ref/). Это значит, что каждый объект хранится в трех экземплярах на разных дисках:
ceph osd pool get rbd size
size: 3
ceph osd pool get rbd min_size
min_size: 2