RE: Re[2]: [uanog] All-in-one on FreeNAS (ZFS) vs Hardware RAID.

Привет, Спасибо за ответ. Отвечаю сразу на основной вопрос. Задач две - одна в офисе и одна дома. Офисная задача состоит в создании и сопровождении группы серверов в компании, которая производит софт. Очевидно, что кроме домен контроллера, серверов с jira, bamboo и прочего хозяйства для организации процесса разработки, необходима еще куча тестовых машин для QA. Причем, в идеале, с разворачиванием "на лету" для тестов конкретных билдов проектов. Ну и еще production, где тоже нет смысла ставить что-либо прямо на железо, кроме платформ виртуализации. Собственно такая группа серверов давно есть и успешно работает. Часть в production, часть в девелопмент офисе. В одном из серверов вместо дисков на 1TB переходим на диски 4TB. Дополнительно был куплен сервер DELL C1100 без винтов, чтобы в него переставить 1TB SAS. В C1100 backplane поддерживает SAS и SATA, но на маме есть только бортовой SATA контроллер. Соответственно необходим SAS контроллер просто хотя бы, чтобы диски включить. И вариантов два: либо обычный hardware RAID, либо HBS+что-то (FreeNAS?)+ZFS. Для офисной задачи выбор FreeNAS+ZFS имеет смысл только по причине лучшего performance, лучшей сохранности данных при выходе из строя винтов и отсутствии головняка в обслуживании. Опять же - отдельная тема, это какой raid level выбрать: 10, 50 или 6? Домашняя задача состоит в разворачивании одной машинки, на которой будут несколько виртуальных машинок: - FreeBSD для экспериментов - торрентокачалка с NFS шарой в сеть фильмов для телевизоров и SMB шарой файлов - XenDesktop или просто виртуальная Windows для детей под обучение на их локальных маках - Сервер под хранение видео от камер - ну и т.д., всего от 4 машин RAID на машинке нужен обязательно, потому, как есть всякие фото и прочее, что терять не хотелось бы ни при каких раскладах. Для нескольких физических машин дома места нет категорически, поэтому лучший вариант, именно All-in-one, где ZFS raid зашарен самому XenServer'у под storage виртуальных машин. Такая конфигурация весьма популярна у многих энтузиастов при построении домашних серверов, гуглится по словам home lab, all-in-one. Надеюсь прояснил все обстоятельства. По прежнему вопросы относительно офисной задачи: 1. Есть ли вариант получить с FreeNAS+ZFS более быстрый storage с большей надежностью в моменты поломок винтов? 2. Есть да, какой для HBA контроллер покупать? Если нет, какой RAID контроллер покупать? 3. Определиться с типом рейда для production (был 6, думаю о 50) и тестовой среде (думаю о 10). Относительно домашней задачи: 1. Думал собрать all-in-one в коротком корпусе под full ATX на 4U на базе мамы Supermicro с встроенным SAS2008, Xeon E3, 32GB памяти, 4 или 6 x4TB Seagate SAS. 2. Почитал, что FreeNAS хочет от 8GB памяти и чем больше, тем лучше и призадумался, так как с E3 только 32GB, а E5 - это уже как-то заметно дороже. Если тут есть какие-то рекомендации по поводу железа для дома - буду очень благодарен. С уважением, Александр

-----Original Message----- From: owner-uanog-outgoing@uanog.kiev.ua [mailto:owner-uanog- outgoing@uanog.kiev.ua] On Behalf Of Vladimir Sharun Sent: Wednesday, July 8, 2015 10:21 PM To: List, Uanog Subject: Re[2]: [uanog] All-in-one on FreeNAS (ZFS) vs Hardware RAID.

Всем привет :)

ZFS on FreeBSD - это быстро. Мы без особого труда получили локально на тестах за гигабайт/с, самбой выжали около 600/800 чтение/запись. Сервером выступал E3-1250/32G с HBA'шкой LSI PCI-E x8 с 8 бэкплейнами подключенных по 4м каналам SAS2 (дисковая подсистема что-то ок. пол- пета), клиентом - E5-2604/128Gb воткнутые друг в друга оптикой напрямую без LAGG'ов.

Основной вопрос, который я не вижу отвеченным - для чего всё это: Xen, контроллеры, виртуалки - там будут работать какие-то приложения в конце концов с какими-то *непосредственными* требованиями к железу и софту, оно же не для академических исследований "как построить систему".

Ну и да - raid обладает противной особенностью выпадения второго (и третьего, если это raid6) диска в процессе ребилда, если это > 1Tb диски и на них (OMFG!) есть нагрузка. Диски отваливаются от каждого чиха: кабель, неровный shutdown, timeout при ремапе и т.п. В этом смысле zfs ттт на высоте.

--- Оригінальне повідомлення --- Від кого: "Vasiliy P. Melnik" Дата: 8 липня 2015, 21:50:38

...

Привет

1) К сожалению зфс и фря - это очень медленно, зфс и солярис - это еще медленнее, может я не умею настраивать - но из коробки именно так.. Держу фрю с зфс исключительно из-за плюшек, но если нужна скорость - это не про зфс. Плюшки тоже есть - и для моих задач они приводят к соотношению линух фря на уровне 1 к 20

2) Сторадж по сети - это медленно.

Имхо, конечно.

З.Ы. у вас такие схемы и такие идеи что-то прошить, как будто сохранность данных вас не интересует. Любой колхоз на продакшине рано или поздно вылезет боком, и съэкономленные 500 долларов покажутся копейками.

...

Привет,

Возможно кто-то опытный поможет распутаться.

Есть несколько серверов, на которых необходимо поднять много виртуальных

машин.

В качестве платформы используется XenServer.

Один из серверов Dell R710 имеет на борту Dell PERC H700.

На этом сервере на базе железного контролера строим RAID10 или RAID50 на 6 x

4TB дисках и на этот storage ставим, как сам Xen, так и все виртуальные

машины.

Все бы ничего, но есть еще второй сервер.

Там есть Intel'овский SATA контроллер на "маме" и все.

А хочется сделать рейд.

Есть 2 варианта:

1. Купить достаточно дорогой железный контроллер с кэшем и BBU (батарея). В

биосе контроллера настроить рейд и взлетать в варианте, похожем на

вышеописанный с R710.

2. Сделать то, что называется all-in-one, а именно:

- купить недорогой контролер на базе SAS2008 (типа IBM M1015 / Dell Perc

H200 / LIS 9211-4i или 8i)

- прошить его IT прошивкой от LSI 9211, чтобы он стал HBA вместо RAID

- врубить в него винты для будущего рейда

- на набортный контроллер Intel повесить небольшой винт, на котором

поставить XenServer

- на этом же небольшом винте на набортном контроллере поднять одну

виртуальную машину, например, с FreeNAS

- пробросить (pass-through) в эту виртуальноую машину прошитый IT прошивкой

второй контроллер со всеми винтами

- и на базе FreeNAS и ZFS сделать raid (уровень выбирать по вкусу)

- расшарить этот storage, который сделан на FreeNAS в сетку (NFS) и самому

же XenServer'у

- на этом же XenServer'е поднять остальные виртуальные машины, используя

этот storage на FreeNAS (ZFS)

Собственно народ писяет кипятком в инете от этого второго варианта, особенно

те, кто дома делают торентокачалки + виртуальные машины + шара в сеть.

А я никак не могу разобраться с несколькими вопросами:

1. Народ утверждает, что такой софтовый рейд грузит процессор на 1.2- 2%, при

этом выдает скорости storage не менее 300-350MB/s.

2. Опять же народ утверждает, что при пропадании питания, несмотря на то,

что в карточке такого рейда с прошивкой IT нет ни кеша, ни батареи, рейд не

ломается, а выживает нормально.

3. Очевидно, что этот вариант дает большую гибкость, поскольку такой storage

может быть доступен в сети не только этому серверу + этот вариант просто

лучше, чем вообще иметь кучу винтов совсем вне рейда.

4. Этот вариант дешевле, чем дорогой железный рейд, а ничем особо не хуже.

Если кто-то из опыта настраивал такой вариант, то вот вопросы:

1. Действительно ли на FreeNAS + ZFS получается классный

8 июля 2015 г., 15:43 пользователь Aliv Cherevko написал: performance по

...

сравнению с, например, Dell PERC H600 / H700?

2. Очевидно, что нужен UPS и система мониторинга питания, которая

корректно

...

выключает сервера, но вот, если это все не сработает - таки можно

потерять

...

весь массив или не будет ничего страшного, кроме потери пары

файлов?

...

3. Есть ли какая-то разница между различными контроллерами IBM

M1015, Dell

...

Perc H200, LIS 9211-4i/8i или пофиг какой брать? Разница именно с

точки

...

зрения performance.

4. Если все так круто с all-in-one - может тогда стоит сделать все диски

отдельными и в R710, где Dell PERC H700? и пробросить их вместе с

контроллером в виртуальную машину и там тоже делать рейд на

FreeNAS?

...

5. Или все это фигня и надо покупать нормальный железный SAS

рейд?

...

Смысл этого письма в том, что во втором сервере сейчас вообще нет

контроллера и хочется относительно быстро понять, что именно

покупать и

...

каким путем идти.

Очевидно, что я могу все это перепробовать сам (включая покупку

разных

...

карт).

Пока есть желание сэкономить время, насколько это возможно.

Буду благодарен за комментарии.

С уважением,

Александр Черевко