читал и смотрел ceph достаточно внимательно.

перечитайте раздел ceph recovery - вся их защита построена на репликации данных по кластеру. что позволяет при выходе одного из osd из строя выполнять rebuild (аналогично как работает raid-5 + горячий резерв).
Это и не большее - скрывается за их описанием.

>>

For example, suppose osd1 crashes and is marked
down, and osd2 takes over as primary for pgA. If osd1
recovers, it will request the latest map on boot, and a
monitor will mark it as up. When osd2 receives the resulting
map update, it will realize it is no longer primary
for pgA and send the pgA version number to osd1.
osd1 will retrieve recent pgA log entries from osd2,
tell osd2 its contents are current, and then begin processing
requests while any updated objects are recovered
in the background.
>>

если допустить что оба osd на которых находится реплика окажутся в down (тривиальный network flap) - будут проблемы. Так как обмена "логом изменения" с клиента на osd - не предусмотрена дизайном.