Странно, но на 6 нод ровнее всего разошлись партишины, при 5 и 7 было пару партишинов в двух экземплярах. Но 6 - это не решение еще даже, в действительности все будет зависеть и  от финансовых факторов тоже, и не исключаю вероятности разворачивания кластера на трех нодах.

Предлагаю забыть за него :)  мы его очень легко угробили.

Как тестировали:

было 7 нод с разными дисками под данные 3*400, 2*300, 2*200, нонды померли, когда забился раздел, выделенный под данные.  Кластер продолжал работать и оставшиеся ноды продолжали принимать коннекты, в итоге в живых осталось 3 - до конца их не заполняли. На 4 упавших добавили дисковое пространство, после этого ноды подняли. Примерно пол дня был движняк - по-другому я назвать это не могу, данные между нодами перемещались просто таки постоянно и со стороны - хаотично. В этот момент производилось чтение данных, даже если в ответ приходило 404 через 2-3 секунды этот же запрос обрабатывался и данные выдавались, aee справляется достаточно шустро. Сейчас все ок.

Я так понимаю основной момент был в том, что у нас был только врайт - но у нас именно такая нагрузка.