Коллеги, поделитесь впечатлениями об использовании ZFS под фрей в условиях боевой нагрузки. Более всего, как и обычно, интересует надежность и стабильность. Потому как скорострельность сильно обрадовала и даже удивила. Заранее благодарен. :)
On Sat, Apr 25, 2009 at 09:07:18PM -0700, Ivan Motin wrote:
Коллеги,
поделитесь впечатлениями об использовании ZFS под фрей в условиях боевой нагрузки. Использую (i386(mirror) & amd64(raidz2, mirror)).
Но чес-слово, "очко играет" и всё такое - в случае бзиков вытащить данные может быть нереально в сжатые сроки. Просто альтернативы не вижу - raid5 - only hardware и тормозно пишет, raid3 - то я такой везучий, что 2 диска из 3х - сыпали ошибками и отваливались. Единственный бзик, на который я нарывался - когда 2 диска одномоментно посыпались, один - насмерть, другой - бэдами. Другой смонтировать удалось только после корёженья ядра.
Более всего, как и обычно, интересует надежность и стабильность. Когда-то дома в vmware оно сносило беспределы в 256М памяти - но на реальном железе не так уже гладко было.
Потому как скорострельность сильно обрадовала и даже удивила. Эта скорострельность ОЧЕНЬ зависит от того, какой recordsize, как файлы записывали и читают. Более 10 минут на копирование 700MB файла, вытащенного ослом - как вам такое?
in short: watchdog необходим, дисков "по-больше", 5-6, учесть ситуацию с загибанием 1-2х дисков - должна быть возможность воткнуть ещё. FreeBSD8 годичной давности - значительно быстрее 7.1, там до сих пор шедулер - по моему Г. Короче, там, где на данные положить - успешно живёт старая 8 (начало апреля прошлого года) (Q6600/8GB ram) - иногда при диком LA оно становится ОЧЕНЬ задумчивым, ssh timed out :). 7.1-RELEASE там пробовалась - была куча idle, но всё заметно медленнее фурычило (короче, грабли smp-related, на одном ядре - всё веселей). last pid: 55211; load averages: 6.20, 6.38, 6.66 up 42+10:34:32 15:07:02 4552 processes:17 running, 4535 sleeping CPU: 13.4% user, 0.0% nice, 69.2% system, 1.7% interrupt, 15.7% idle Mem: 3437M Active, 956M Inact, 1214M Wired, 47M Cache, 215M Buf, 2272M Free Swap: 6144M Total, 3185M Used, 2958M Free, 51% Inuse (шото спокойно - обычно 5000-8000 процессов) ZFS 3-way mirror (ну, на данные не совсем положить, а дисков 4 всё равно стоит, один сдохнуть отказался :), осталось немного поремапиться... ) Никак не соберусь потестить 8-current посвежее :) - там уйма интересностей, хотя больше для роутеров. USB stack новый - и ни разу не совместимый со старым софтом(матюки поскипаны - любимый spcaview не собрать ни за что :( ). Там, где совсем не положить - то 7.1, но там нет таких нагрузок диких. Желательно не использовать i386+ZFS (это к ядру, что за бинарники запускать - по барабану), но иногда без i386 - не обойтись. zpool scrub очень грузит диски - без желания их ухерачить лучше такого не делать лишний раз. Ещё в хозяйстве есть gjournal@stripe of mirrors - никаких пртензий за год... Не стоит ставить ОС на ZFS - xinstall не очень дружит с невозможностью chflags сделать на ZFS (это ещё один момент - нету тама этих schg), квот на ZFS нету, то есть можно только создать ФС с размером "не более" - а это не всегда удобно. du показывает физически занимаемый объём, что при включенном compression очень может отличаться от размера объекта. С квотами - не знаю как получится. ZFS хорошо переносит десятки тысяч файлов в каталоге, по крайней мере на ram disk было заметно, что работа (fstat/fopen...) с /a/b/abc медленнее, чем с /abc Кэширование - вообще полные непонятки и тёмный лес... -- Best regards, Paul Arakelyan.
Fri, May 01, 2009 at 19:00:42, unisol wrote about "Re: [uanog] FreeBSD7 and ZFS":
Но чес-слово, "очко играет" и всё такое - в случае бзиков вытащить данные может быть нереально в сжатые сроки. Просто альтернативы не вижу - raid5 - only hardware и тормозно пишет, raid3 - то я такой везучий, что 2 диска из 3х - сыпали ошибками и отваливались.
RAID5 бывает и программный (кстати, под фрю есть и неплохой), а RAID3 - речь часом не про уродство по фамилии "geom_raid3" из поставки? Оно хромое по жизни - начиная от названия (то, что оно делает, нормально называется RAID4) и до сути (плотность записи на один из дисков в два раза выше остальных - лучший способ убить диск). Ну а что два диска - то таки тебе не повезло.
Потому как скорострельность сильно обрадовала и даже удивила. Эта скорострельность ОЧЕНЬ зависит от того, какой recordsize, как файлы записывали и читают. Более 10 минут на копирование 700MB файла, вытащенного ослом - как вам такое?
Что-то неладно. Но при чём тут осёл? -netch-
On Sun, May 03, 2009 at 01:30:22PM +0300, Valentin Nechayev wrote:
Fri, May 01, 2009 at 19:00:42, unisol wrote about "Re: [uanog] FreeBSD7 and ZFS":
Но чес-слово, "очко играет" и всё такое - в случае бзиков вытащить данные может быть нереально в сжатые сроки. Просто альтернативы не вижу - raid5 - only hardware и тормозно пишет, raid3 - то я такой везучий, что 2 диска из 3х - сыпали ошибками и отваливались.
RAID5 бывает и программный (кстати, под фрю есть и неплохой), а RAID3 В виде патча, который ещё и только с SCHED_4BSD дружил? (ну, vinum ещё) - но при записи чего-нить мелкого они все томозят... - речь часом не про уродство по фамилии "geom_raid3" из поставки? Оно Да - оно. По скорости - вполне на страйп из 2-х дисков тянуло, и вроде как надёжность какая-то обеспечивалась.
хромое по жизни - начиная от названия (то, что оно делает, нормально называется RAID4) и до сути (плотность записи на один из дисков в два Хм - gstat такого не показывал.
раза выше остальных - лучший способ убить диск). Ну а что два диска - то таки тебе не повезло. ISO9001 или как там его - "наш завод выпускает Г постояннного качества" :)
Потому как скорострельность сильно обрадовала и даже удивила. Эта скорострельность ОЧЕНЬ зависит от того, какой recordsize, как файлы записывали и читают. Более 10 минут на копирование 700MB файла, вытащенного ослом - как вам такое?
Что-то неладно. Но при чём тут осёл? Осёл - писал кусками небольшими несколько файлов сразу. В итоге получилось что-то жутковатое. В случае с кучей дисков - было б не так печально. Кстати sort текстового файла на ~10ГБ (строчки - єдак по 50-70 байт) - на 7.1 не нагружает диски (raidz2, 5 hdd) "до упора".
-- Best regards, Paul Arakelyan.
participants (3)
-
Ivan Motin -
Paul Arakelyan -
Valentin Nechayev