On Wed, Jul 08, 2015 at 03:43:16PM +0300, Aliv Cherevko wrote:
Привет,
2. Сделать то, что называется all-in-one, а именно: - на этом же XenServer'е поднять остальные виртуальные машины, используя этот storage на FreeNAS (ZFS) Напоминает редкостное извращение. почти как "нам нужно рабочее место и контроллер домена - так второй в виртуалку и на первом пускать".
Собственно народ писяет кипятком в инете от этого второго варианта, особенно те, кто дома делают торентокачалки + виртуальные машины + шара в сеть. А я никак не могу разобраться с несколькими вопросами:
1. Народ утверждает, что такой софтовый рейд грузит процессор на 1.2-2%, при этом выдает скорости storage не менее 300-350MB/s. 1-2% от чего? от общей мощи, наверно. Ну, то есть от угарно раскочегаренного 5960 или хотя бы 4770К :). Наверно, там не пахнет raidz*, сжатием и дедупом. В принципе - под фрей ZFS хорошо грузит все ядра, если плюшки повключать. У меня много где gzip-3 включен, оптимальный вариант, когда ещё не "торба, как тормозно" и "сжимает сносно". Сжатие ж там - целое количество блоксайзов в пределах рекордсайза жмется в целое количество блоксайзов (нужно менять исходники zpool или извращаться, чтоб создать пул с блоксайзом "не дефолтного" размера.).
300МБ/с - разве что линейно при нефрагментированных файлах и очень специфичном создании пулов - с крупными блоками (звездатый косяк при чтении/записи 4КБ писать-читать сразу 8-16-32-64-128, со сжатием при работе - распрощаться, степень сжатия упадет, жмет оно в куски размером blocksize, что при малом соотношении recordsize/blocksize значит рост накладных расходов). Или с SSD у них такие скорости. Реально - /var/mail с 8КБ блоксайзом и gzip-3 на raidz - десятки МБ/с: 359112820 bytes transferred in 9.576496 secs (37499397 bytes/sec) Физически файл занимает 274014КБ. Это raidz2 из 5 дисков 320ГБ/7200rpm/80MB/s с одним дохлым.
2. Опять же народ утверждает, что при пропадании питания, несмотря на то, что в карточке такого рейда с прошивкой IT нет ни кеша, ни батареи, рейд не ломается, а выживает нормально. Та запросто. жопается только файл(ы), в которые писали - только "угадай, куда ж писали". Торренту - пофиг почти, перекачается - там чексумы ж.
В виртуалке - наверно "будет интересно" если не журналируется. Т.е. я поставлю на "qcow2 может выживет", но места он будет жрать - непредсказуемо дофига, без дедупа или регулярного "стопнем машину" я бы не рыпался... 1639776768 2012-11-13 06:09 sUbuntu-convert.qcow2 70975684608 2015-07-09 08:28 Ubuntu-convert.qcow2 Это одна и та же виртуалка - как проектировать потребность в диске с таким?
3. Очевидно, что этот вариант дает большую гибкость, поскольку такой storage может быть доступен в сети не только этому серверу + этот вариант просто лучше, чем вообще иметь кучу винтов совсем вне рейда. Вроде как в линуксе - доточили ZFS. Может, можно без фри в виртуалке? Бо оверхед - шина памяти не резиновая.
4. Этот вариант дешевле, чем дорогой железный рейд, а ничем особо не хуже.
Он лучше тем, что будет бесплатный бонус в виде детекта ошибок памяти и вообще более живучий, ИМХО.
Если кто-то из опыта настраивал такой вариант, то вот вопросы:
1. Действительно ли на FreeNAS + ZFS получается классный performance по сравнению с, например, Dell PERC H600 / H700? На SSD - запросто :). Иначе - зависит от использования, но, думаю, контроллер чудес не сотворит, кроме как при записи за счет BBU. В любом случае, ZFS - это значительные накладные расходы. И контроллер с батарейкой - не помешает ей тоже.
2. Очевидно, что нужен UPS и система мониторинга питания, которая корректно выключает сервера, но вот, если это все не сработает - таки можно потерять весь массив или не будет ничего страшного, кроме потери пары файлов? С пулом ZFS - "ничего страшного", всё надежно. Ничего, что пара файлов =пара виртуалок из задачи?
3. Есть ли какая-то разница между различными контроллерами IBM M1015, Dell Perc H200, LIS 9211-4i/8i или пофиг какой брать? Разница именно с точки зрения performance. Та с обычными дисками - ваще непонятно нах они нада, если ты не цепляешь "фигнадцать" дисков или нужен кэш с батарейкой - это заметно ускорит запись на ZFS.
4. Если все так круто с all-in-one - может тогда стоит сделать все диски отдельными и в R710, где Dell PERC H700? и пробросить их вместе с контроллером в виртуальную машину и там тоже делать рейд на FreeNAS? 5. Или все это фигня и надо покупать нормальный железный SAS рейд? Задачу ж не описали - нафига виртуалки-то? торренты качать ? :)
-- Best regards, Paul Arakelyan.