ZFS on FreeBSD - это быстро. Мы без особого труда получили локально на тестах за гигабайт/с, самбой выжали около 600/800 чтение/запись. Сервером выступал E3-1250/32G с HBA'шкой LSI PCI-E x8 с 8 бэкплейнами подключенных по 4м каналам SAS2 (дисковая подсистема что-то ок. пол-пета), клиентом - E5-2604/128Gb воткнутые друг в друга оптикой напрямую без LAGG'ов

Ну нет там скорости по сравнению с тем же ext4 - у нее другие плюшки. И да 128 гигов оперативы решают - зфс память любит.

Основной вопрос, который я не вижу отвеченным - для чего всё это: Xen, контроллеры, виртуалки - там будут работать какие-то приложения в конце концов с какими-то *непосредственными* требованиями к железу и софту, оно же не для академических исследований "как построить систему".

так стоя и в гамаке :) Сначала придумываем проблему - потом ее героически преодолеваем

Ну и да - raid обладает противной особенностью выпадения второго (и третьего, если это raid6) диска в процессе ребилда, если это > 1Tb диски и на них (OMFG!) есть нагрузка. Диски отваливаются от каждого чиха: кабель, неровный shutdown, timeout при ремапе и т.п. В этом смысле zfs ттт на высоте.

Ну техника разная бывает, рейды тоже. Индусы иногда не кривые прошивки делают. Ну все как обычно. У меня за все время пул зфс-а умер только один раз - ну я вообще ничего не смог с него вытянуть, рекавери нет никакого как класса. Виновата в этом была планка памяти.