On Sat, Apr 25, 2009 at 09:07:18PM -0700, Ivan Motin wrote:

Коллеги,

поделитесь впечатлениями об использовании ZFS под фрей в условиях боевой нагрузки. Использую (i386(mirror) & amd64(raidz2, mirror)).

Но чес-слово, "очко играет" и всё такое - в случае бзиков вытащить данные может быть нереально в сжатые сроки. Просто альтернативы не вижу - raid5 - only hardware и тормозно пишет, raid3 - то я такой везучий, что 2 диска из 3х - сыпали ошибками и отваливались. Единственный бзик, на который я нарывался - когда 2 диска одномоментно посыпались, один - насмерть, другой - бэдами. Другой смонтировать удалось только после корёженья ядра.

Более всего, как и обычно, интересует надежность и стабильность. Когда-то дома в vmware оно сносило беспределы в 256М памяти - но на реальном железе не так уже гладко было.

Потому как скорострельность сильно обрадовала и даже удивила. Эта скорострельность ОЧЕНЬ зависит от того, какой recordsize, как файлы записывали и читают. Более 10 минут на копирование 700MB файла, вытащенного ослом - как вам такое?

in short: watchdog необходим, дисков "по-больше", 5-6, учесть ситуацию с загибанием 1-2х дисков - должна быть возможность воткнуть ещё. FreeBSD8 годичной давности - значительно быстрее 7.1, там до сих пор шедулер - по моему Г. Короче, там, где на данные положить - успешно живёт старая 8 (начало апреля прошлого года) (Q6600/8GB ram) - иногда при диком LA оно становится ОЧЕНЬ задумчивым, ssh timed out :). 7.1-RELEASE там пробовалась - была куча idle, но всё заметно медленнее фурычило (короче, грабли smp-related, на одном ядре - всё веселей). last pid: 55211; load averages: 6.20, 6.38, 6.66 up 42+10:34:32 15:07:02 4552 processes:17 running, 4535 sleeping CPU: 13.4% user, 0.0% nice, 69.2% system, 1.7% interrupt, 15.7% idle Mem: 3437M Active, 956M Inact, 1214M Wired, 47M Cache, 215M Buf, 2272M Free Swap: 6144M Total, 3185M Used, 2958M Free, 51% Inuse (шото спокойно - обычно 5000-8000 процессов) ZFS 3-way mirror (ну, на данные не совсем положить, а дисков 4 всё равно стоит, один сдохнуть отказался :), осталось немного поремапиться... ) Никак не соберусь потестить 8-current посвежее :) - там уйма интересностей, хотя больше для роутеров. USB stack новый - и ни разу не совместимый со старым софтом(матюки поскипаны - любимый spcaview не собрать ни за что :( ). Там, где совсем не положить - то 7.1, но там нет таких нагрузок диких. Желательно не использовать i386+ZFS (это к ядру, что за бинарники запускать - по барабану), но иногда без i386 - не обойтись. zpool scrub очень грузит диски - без желания их ухерачить лучше такого не делать лишний раз. Ещё в хозяйстве есть gjournal@stripe of mirrors - никаких пртензий за год... Не стоит ставить ОС на ZFS - xinstall не очень дружит с невозможностью chflags сделать на ZFS (это ещё один момент - нету тама этих schg), квот на ZFS нету, то есть можно только создать ФС с размером "не более" - а это не всегда удобно. du показывает физически занимаемый объём, что при включенном compression очень может отличаться от размера объекта. С квотами - не знаю как получится. ZFS хорошо переносит десятки тысяч файлов в каталоге, по крайней мере на ram disk было заметно, что работа (fstat/fopen...) с /a/b/abc медленнее, чем с /abc Кэширование - вообще полные непонятки и тёмный лес... -- Best regards, Paul Arakelyan.