30 марта 2017 г., 15:09 пользователь Mykola Ulianytskyi написал:

...

ну мы остановились на том, что нам надо 6 нод.

Серверы даже на половину по CPU / RAM / IO не были загружены. 3 ноды нужны были только для HA с возможностью потери одной из них.

Ну и лучше иметь 5 или 7 вместо 6: http://docs.basho.com/riak/kv/2.2.2/learn/glossary/#quorum

Странно, но на 6 нод ровнее всего разошлись партишины, при 5 и 7 было пару партишинов в двух экземплярах. Но 6 - это не решение еще даже, в действительности все будет зависеть и от финансовых факторов тоже, и не исключаю вероятности разворачивания кластера на трех нодах. GlusterFS имеет генетические проблемы с быстродействием fstat.

Если его и используют для хранения картинок - то только через проксю с диким кэшом, чтобы по максимуму снизить количество fstat-запросов к гластеру.

Предлагаю забыть за него :) мы его очень легко угробили. Как тестировали: было 7 нод с разными дисками под данные 3*400, 2*300, 2*200, нонды померли, когда забился раздел, выделенный под данные. Кластер продолжал работать и оставшиеся ноды продолжали принимать коннекты, в итоге в живых осталось 3 - до конца их не заполняли. На 4 упавших добавили дисковое пространство, после этого ноды подняли. Примерно пол дня был движняк - по-другому я назвать это не могу, данные между нодами перемещались просто таки постоянно и со стороны - хаотично. В этот момент производилось чтение данных, даже если в ответ приходило 404 через 2-3 секунды этот же запрос обрабатывался и данные выдавались, aee справляется достаточно шустро. Сейчас все ок. Я так понимаю основной момент был в том, что у нас был только врайт - но у нас именно такая нагрузка.