Всем привет :) ZFS on FreeBSD - это быстро. Мы без особого труда получили локально на тестах за гигабайт/с, самбой выжали около 600/800 чтение/запись. Сервером выступал E3-1250/32G с HBA'шкой LSI PCI-E x8 с 8 бэкплейнами подключенных по 4м каналам SAS2 (дисковая подсистема что-то ок. пол-пета), клиентом - E5-2604/128Gb воткнутые друг в друга оптикой напрямую без LAGG'ов. Основной вопрос, который я не вижу отвеченным - для чего всё это: Xen, контроллеры, виртуалки - там будут работать какие-то приложения в конце концов с какими-то *непосредственными* требованиями к железу и софту, оно же не для академических исследований "как построить систему". Ну и да - raid обладает противной особенностью выпадения второго (и третьего, если это raid6) диска в процессе ребилда, если это > 1Tb диски и на них (OMFG!) есть нагрузка. Диски отваливаются от каждого чиха: кабель, неровный shutdown, timeout при ремапе и т.п. В этом смысле zfs ттт на высоте. --- Оригінальне повідомлення --- Від кого: "Vasiliy P. Melnik" Дата: 8 липня 2015, 21:50:38

Привет

1) К сожалению зфс и фря - это очень медленно, зфс и солярис - это еще медленнее, может я не умею настраивать - но из коробки именно так.. Держу фрю с зфс исключительно из-за плюшек, но если нужна скорость - это не про зфс. Плюшки тоже есть - и для моих задач они приводят к соотношению линух фря на уровне 1 к 20

2) Сторадж по сети - это медленно.

Имхо, конечно.

З.Ы. у вас такие схемы и такие идеи что-то прошить, как будто сохранность данных вас не интересует. Любой колхоз на продакшине рано или поздно вылезет боком, и съэкономленные 500 долларов покажутся копейками.

8 июля 2015 г., 15:43 пользователь Aliv Cherevko написал:

...

Привет,

Возможно кто-то опытный поможет распутаться.

Есть несколько серверов, на которых необходимо поднять много виртуальных

машин.

В качестве платформы используется XenServer.

Один из серверов Dell R710 имеет на борту Dell PERC H700.

На этом сервере на базе железного контролера строим RAID10 или RAID50 на 6 x

4TB дисках и на этот storage ставим, как сам Xen, так и все виртуальные

машины.

Все бы ничего, но есть еще второй сервер.

Там есть Intel'овский SATA контроллер на "маме" и все.

А хочется сделать рейд.

Есть 2 варианта:

1. Купить достаточно дорогой железный контроллер с кэшем и BBU (батарея). В

биосе контроллера настроить рейд и взлетать в варианте, похожем на

вышеописанный с R710.

2. Сделать то, что называется all-in-one, а именно:

- купить недорогой контролер на базе SAS2008 (типа IBM M1015 / Dell Perc

H200 / LIS 9211-4i или 8i)

- прошить его IT прошивкой от LSI 9211, чтобы он стал HBA вместо RAID

- врубить в него винты для будущего рейда

- на набортный контроллер Intel повесить небольшой винт, на котором

поставить XenServer

- на этом же небольшом винте на набортном контроллере поднять одну

виртуальную машину, например, с FreeNAS

- пробросить (pass-through) в эту виртуальноую машину прошитый IT прошивкой

второй контроллер со всеми винтами

- и на базе FreeNAS и ZFS сделать raid (уровень выбирать по вкусу)

- расшарить этот storage, который сделан на FreeNAS в сетку (NFS) и самому

же XenServer'у

- на этом же XenServer'е поднять остальные виртуальные машины, используя

этот storage на FreeNAS (ZFS)

Собственно народ писяет кипятком в инете от этого второго варианта, особенно

те, кто дома делают торентокачалки + виртуальные машины + шара в сеть.

А я никак не могу разобраться с несколькими вопросами:

1. Народ утверждает, что такой софтовый рейд грузит процессор на 1.2-2%, при

этом выдает скорости storage не менее 300-350MB/s.

2. Опять же народ утверждает, что при пропадании питания, несмотря на то,

что в карточке такого рейда с прошивкой IT нет ни кеша, ни батареи, рейд не

ломается, а выживает нормально.

3. Очевидно, что этот вариант дает большую гибкость, поскольку такой storage

может быть доступен в сети не только этому серверу + этот вариант просто

лучше, чем вообще иметь кучу винтов совсем вне рейда.

4. Этот вариант дешевле, чем дорогой железный рейд, а ничем особо не хуже.

Если кто-то из опыта настраивал такой вариант, то вот вопросы:

1. Действительно ли на FreeNAS + ZFS получается классный performance по

сравнению с, например, Dell PERC H600 / H700?

2. Очевидно, что нужен UPS и система мониторинга питания, которая корректно

выключает сервера, но вот, если это все не сработает - таки можно потерять

весь массив или не будет ничего страшного, кроме потери пары файлов?

3. Есть ли какая-то разница между различными контроллерами IBM M1015, Dell

Perc H200, LIS 9211-4i/8i или пофиг какой брать? Разница именно с точки

зрения performance.

4. Если все так круто с all-in-one - может тогда стоит сделать все диски

отдельными и в R710, где Dell PERC H700? и пробросить их вместе с

контроллером в виртуальную машину и там тоже делать рейд на FreeNAS?

5. Или все это фигня и надо покупать нормальный железный SAS рейд?

Смысл этого письма в том, что во втором сервере сейчас вообще нет

контроллера и хочется относительно быстро понять, что именно покупать и

каким путем идти.

Очевидно, что я могу все это перепробовать сам (включая покупку разных

карт).

Пока есть желание сэкономить время, насколько это возможно.

Буду благодарен за комментарии.

С уважением,

Александр Черевко

On Thu, Jul 09, 2015 at 07:29:32AM +0300, Vasiliy P. Melnik wrote:

...

Ну и да - raid обладает противной особенностью выпадения второго (и третьего, если это raid6) диска в процессе ребилда, если это > 1Tb диски и на них (OMFG!) есть нагрузка. Диски отваливаются от каждого чиха: кабель, неровный shutdown, timeout при ремапе и т.п. В этом смысле zfs ттт на высоте.

Ну техника разная бывает, рейды тоже. Индусы иногда не кривые прошивки делают. Ну все как обычно. У меня за все время пул зфс-а умер только один раз - ну я вообще ничего не смог с него вытянуть, рекавери нет никакого как класса. Виновата в этом была планка памяти.

Один раз - на солярке, я отключил чексумы, пожил пол-годика, диск помер, поменял - и оно исполнило бесплатный цирк - "восстановило" данные на других дисках читая с пустого. Результат был фееричен - вылезли ещё грабли с gzip - читаешь файл, ОС крэшится пытаясь разжать мусор. С полудохлым диском и стукнутой статикой планкой памяти (может она, конечно, и сама сдохла) - всё более-менее пахало и ошибки детектились :)... На заре моей ЗФС-о-мании был случай с IDE-дисками, один сдох, другой исполнил непонятную команду и повредил данные. В итоге - колупание ядра, убирание "фатальности" в ошибках - всё смонтировалось, фигдесят файлов были нечитаемы, их имена/пути можно было получить. Рекавери - только всякие полицаи писали - "очень классно, данные не перезаписываются". Короче, это возможно, но никакая крупная контора не заморачивалась. -- Best regards, Paul Arakelyan.

On Thu, Jul 09, 2015 at 11:43:49AM +0300, Vladimir Sharun wrote:

...

Один раз - на солярке, я отключил чексумы, пожил пол-годика, диск помер, поменял - и оно исполнило бесплатный цирк - "восстановило" данные на других

К сожалению это невозможно принципиально (zfs): на дисках есть уникальная метка Это было на опенсолярисе, диск один - сдох совсем. вместо него поставился пустой-новый, далее replace - и начало оно логично, но потом началось чтение с нового пустого диска и запись на другие два. Баг такой веселый. Без выключения чексумов - всё работало как надо (та часть пула, которая была записана до выключения чексумов - читалась ок). Итог такого цирка состоял в вроде-бы правильных данных, с которыми ничего нельзя было сделать. Да, я знаю теперь - низзя выключать было, но проца не хватало и это был единственный вариант "найти его ещё чуть-чуть". Так что пришлось из бэкапа того...

...

дисках читая с пустого. Результат был фееричен - вылезли ещё граб ли с gzip - читаешь файл, ОС крэшится пытаясь разжать мусор.

failmode=wait | continue | panic

Это опенсолярис, тогда там такого не было. и кернел паник только на гзип-сжатых блоках был. Это не фэйл пула, это фэйл реализации гзип и проверки ошибок в ядре солярки. Не знаю, исправили или нет :), повторить сложно, наверное.

...

Рекавери - только всякие полицаи писали - "очень классно, данные не перезаписываются". Короче, это возможно, но никакая крупная контора не заморачивалась.

Рекавери с zdb - работает как надо. Мы восстанавливали десятки тер после жесткого крэша бэкплейна.

Мнэээ - а при кернел панике отладчиком тоже много можно сделать, я к тому - удобного и простого инструмента нет. -- Best regards, Paul Arakelyan.

Паша, Для каждой задачи свои решения. Почтовые спулы - они для памяти.

...

ZFS on FreeBSD - это быстро. Мы без особого труда получили локально на тестах за гигабайт/с,

Это сикока-сикока дисков и как слеплено? И это ж линейное чтение-запись.

У меня разница при "съехали с 3-х дисков в raid-3 на 6 в raidz-2" - совсем не в пользу последнего была на спуле с почтой - еле компенсировалось 4KB blocksize (ну это на новых дисках по-любому надо делать) и сжатием.

И незабываемое впечатление - скачал я ослом кинцо. Читалось оно с одного диска - 700 килобайт/с. Если бы там был блоксайз 4КБ - было бы 5,6МБ/с :) Собственно - вот вам и 4*5,6=22МБ/с при отдаче ящика.

Привет, Спасибо за ответ. Отвечаю сразу на основной вопрос. Задач две - одна в офисе и одна дома. Офисная задача состоит в создании и сопровождении группы серверов в компании, которая производит софт. Очевидно, что кроме домен контроллера, серверов с jira, bamboo и прочего хозяйства для организации процесса разработки, необходима еще куча тестовых машин для QA. Причем, в идеале, с разворачиванием "на лету" для тестов конкретных билдов проектов. Ну и еще production, где тоже нет смысла ставить что-либо прямо на железо, кроме платформ виртуализации. Собственно такая группа серверов давно есть и успешно работает. Часть в production, часть в девелопмент офисе. В одном из серверов вместо дисков на 1TB переходим на диски 4TB. Дополнительно был куплен сервер DELL C1100 без винтов, чтобы в него переставить 1TB SAS. В C1100 backplane поддерживает SAS и SATA, но на маме есть только бортовой SATA контроллер. Соответственно необходим SAS контроллер просто хотя бы, чтобы диски включить. И вариантов два: либо обычный hardware RAID, либо HBS+что-то (FreeNAS?)+ZFS. Для офисной задачи выбор FreeNAS+ZFS имеет смысл только по причине лучшего performance, лучшей сохранности данных при выходе из строя винтов и отсутствии головняка в обслуживании. Опять же - отдельная тема, это какой raid level выбрать: 10, 50 или 6? Домашняя задача состоит в разворачивании одной машинки, на которой будут несколько виртуальных машинок: - FreeBSD для экспериментов - торрентокачалка с NFS шарой в сеть фильмов для телевизоров и SMB шарой файлов - XenDesktop или просто виртуальная Windows для детей под обучение на их локальных маках - Сервер под хранение видео от камер - ну и т.д., всего от 4 машин RAID на машинке нужен обязательно, потому, как есть всякие фото и прочее, что терять не хотелось бы ни при каких раскладах. Для нескольких физических машин дома места нет категорически, поэтому лучший вариант, именно All-in-one, где ZFS raid зашарен самому XenServer'у под storage виртуальных машин. Такая конфигурация весьма популярна у многих энтузиастов при построении домашних серверов, гуглится по словам home lab, all-in-one. Надеюсь прояснил все обстоятельства. По прежнему вопросы относительно офисной задачи: 1. Есть ли вариант получить с FreeNAS+ZFS более быстрый storage с большей надежностью в моменты поломок винтов? 2. Есть да, какой для HBA контроллер покупать? Если нет, какой RAID контроллер покупать? 3. Определиться с типом рейда для production (был 6, думаю о 50) и тестовой среде (думаю о 10). Относительно домашней задачи: 1. Думал собрать all-in-one в коротком корпусе под full ATX на 4U на базе мамы Supermicro с встроенным SAS2008, Xeon E3, 32GB памяти, 4 или 6 x4TB Seagate SAS. 2. Почитал, что FreeNAS хочет от 8GB памяти и чем больше, тем лучше и призадумался, так как с E3 только 32GB, а E5 - это уже как-то заметно дороже. Если тут есть какие-то рекомендации по поводу железа для дома - буду очень благодарен. С уважением, Александр

-----Original Message----- From: owner-uanog-outgoing@uanog.kiev.ua [mailto:owner-uanog- outgoing@uanog.kiev.ua] On Behalf Of Vladimir Sharun Sent: Wednesday, July 8, 2015 10:21 PM To: List, Uanog Subject: Re[2]: [uanog] All-in-one on FreeNAS (ZFS) vs Hardware RAID.

Всем привет :)

ZFS on FreeBSD - это быстро. Мы без особого труда получили локально на тестах за гигабайт/с, самбой выжали около 600/800 чтение/запись. Сервером выступал E3-1250/32G с HBA'шкой LSI PCI-E x8 с 8 бэкплейнами подключенных по 4м каналам SAS2 (дисковая подсистема что-то ок. пол- пета), клиентом - E5-2604/128Gb воткнутые друг в друга оптикой напрямую без LAGG'ов.

Основной вопрос, который я не вижу отвеченным - для чего всё это: Xen, контроллеры, виртуалки - там будут работать какие-то приложения в конце концов с какими-то *непосредственными* требованиями к железу и софту, оно же не для академических исследований "как построить систему".

Ну и да - raid обладает противной особенностью выпадения второго (и третьего, если это raid6) диска в процессе ребилда, если это > 1Tb диски и на них (OMFG!) есть нагрузка. Диски отваливаются от каждого чиха: кабель, неровный shutdown, timeout при ремапе и т.п. В этом смысле zfs ттт на высоте.

--- Оригінальне повідомлення --- Від кого: "Vasiliy P. Melnik" Дата: 8 липня 2015, 21:50:38

...

Привет

1) К сожалению зфс и фря - это очень медленно, зфс и солярис - это еще медленнее, может я не умею настраивать - но из коробки именно так.. Держу фрю с зфс исключительно из-за плюшек, но если нужна скорость - это не про зфс. Плюшки тоже есть - и для моих задач они приводят к соотношению линух фря на уровне 1 к 20

2) Сторадж по сети - это медленно.

Имхо, конечно.

З.Ы. у вас такие схемы и такие идеи что-то прошить, как будто сохранность данных вас не интересует. Любой колхоз на продакшине рано или поздно вылезет боком, и съэкономленные 500 долларов покажутся копейками.

...

Привет,

Возможно кто-то опытный поможет распутаться.

Есть несколько серверов, на которых необходимо поднять много виртуальных

машин.

В качестве платформы используется XenServer.

Один из серверов Dell R710 имеет на борту Dell PERC H700.

На этом сервере на базе железного контролера строим RAID10 или RAID50 на 6 x

4TB дисках и на этот storage ставим, как сам Xen, так и все виртуальные

машины.

Все бы ничего, но есть еще второй сервер.

Там есть Intel'овский SATA контроллер на "маме" и все.

А хочется сделать рейд.

Есть 2 варианта:

1. Купить достаточно дорогой железный контроллер с кэшем и BBU (батарея). В

биосе контроллера настроить рейд и взлетать в варианте, похожем на

вышеописанный с R710.

2. Сделать то, что называется all-in-one, а именно:

- купить недорогой контролер на базе SAS2008 (типа IBM M1015 / Dell Perc

H200 / LIS 9211-4i или 8i)

- прошить его IT прошивкой от LSI 9211, чтобы он стал HBA вместо RAID

- врубить в него винты для будущего рейда

- на набортный контроллер Intel повесить небольшой винт, на котором

поставить XenServer

- на этом же небольшом винте на набортном контроллере поднять одну

виртуальную машину, например, с FreeNAS

- пробросить (pass-through) в эту виртуальноую машину прошитый IT прошивкой

второй контроллер со всеми винтами

- и на базе FreeNAS и ZFS сделать raid (уровень выбирать по вкусу)

- расшарить этот storage, который сделан на FreeNAS в сетку (NFS) и самому

же XenServer'у

- на этом же XenServer'е поднять остальные виртуальные машины, используя

этот storage на FreeNAS (ZFS)

Собственно народ писяет кипятком в инете от этого второго варианта, особенно

те, кто дома делают торентокачалки + виртуальные машины + шара в сеть.

А я никак не могу разобраться с несколькими вопросами:

1. Народ утверждает, что такой софтовый рейд грузит процессор на 1.2- 2%, при

этом выдает скорости storage не менее 300-350MB/s.

2. Опять же народ утверждает, что при пропадании питания, несмотря на то,

что в карточке такого рейда с прошивкой IT нет ни кеша, ни батареи, рейд не

ломается, а выживает нормально.

3. Очевидно, что этот вариант дает большую гибкость, поскольку такой storage

может быть доступен в сети не только этому серверу + этот вариант просто

лучше, чем вообще иметь кучу винтов совсем вне рейда.

4. Этот вариант дешевле, чем дорогой железный рейд, а ничем особо не хуже.

Если кто-то из опыта настраивал такой вариант, то вот вопросы:

1. Действительно ли на FreeNAS + ZFS получается классный

8 июля 2015 г., 15:43 пользователь Aliv Cherevko написал: performance по

...

сравнению с, например, Dell PERC H600 / H700?

2. Очевидно, что нужен UPS и система мониторинга питания, которая

корректно

...

выключает сервера, но вот, если это все не сработает - таки можно

потерять

...

весь массив или не будет ничего страшного, кроме потери пары

файлов?

...

3. Есть ли какая-то разница между различными контроллерами IBM

M1015, Dell

...

Perc H200, LIS 9211-4i/8i или пофиг какой брать? Разница именно с

точки

...

зрения performance.

4. Если все так круто с all-in-one - может тогда стоит сделать все диски

отдельными и в R710, где Dell PERC H700? и пробросить их вместе с

контроллером в виртуальную машину и там тоже делать рейд на

FreeNAS?

...

5. Или все это фигня и надо покупать нормальный железный SAS

рейд?

...

Смысл этого письма в том, что во втором сервере сейчас вообще нет

контроллера и хочется относительно быстро понять, что именно

покупать и

...

каким путем идти.

Очевидно, что я могу все это перепробовать сам (включая покупку

разных

...

карт).

Пока есть желание сэкономить время, насколько это возможно.

Буду благодарен за комментарии.

С уважением,

Александр Черевко

On Thu, Jul 09, 2015 at 01:38:32PM +0300, Aliv Cherevko wrote:

Привет,

Спасибо за ответ. Отвечаю сразу на основной вопрос. Задач две - одна в офисе и одна дома.

Офисная задача состоит в создании и сопровождении группы серверов в компании, которая производит софт. Очевидно, что кроме домен контроллера, серверов с jira, bamboo и прочего хозяйства для организации процесса разработки, необходима еще куча тестовых машин для QA. Причем, в идеале, с разворачиванием "на лету" для тестов конкретных билдов проектов. В одном из серверов вместо дисков на 1TB переходим на диски 4TB. И вариантов два: либо обычный hardware RAID, либо HBS+что-то (FreeNAS?)+ZFS.

ZFS только если дисковые устройства "видно". Если при этом пашет кэш с батарейкой - наверно зашибись. идея с ZIL на SSD - хорошо помучает SSD, если пишется много.

Для офисной задачи выбор FreeNAS+ZFS имеет смысл только по причине лучшего performance, лучшей сохранности данных при выходе из строя винтов и отсутствии головняка в обслуживании. Опять же - отдельная тема, это какой raid level выбрать: 10, 50 или 6? В ZFS - raidz2 там где не критично производительность и зеркало - там где надо иопсов на чтение побольше.

Домашняя задача состоит в разворачивании одной машинки, на которой будут несколько виртуальных машинок: - FreeBSD для экспериментов - торрентокачалка с NFS шарой в сеть фильмов для телевизоров и SMB шарой файлов - XenDesktop или просто виртуальная Windows для детей под обучение на их локальных маках - Сервер под хранение видео от камер - ну и т.д., всего от 4 машин

Хм, дешево это решается сокет1366+ксеон L5639/L5640(гонится без поднятия напряжения, но там целая наука и танцы с бубном) +48гигов мозгов (6х8ГБ). Жрет, правда - от 100Вт/час и я не знаю, станет ли ECC память в мать на Х-58.

RAID на машинке нужен обязательно, потому, как есть всякие фото и прочее, что терять не хотелось бы ни при каких раскладах. Для нескольких физических машин дома места нет категорически, Гонишь :) - miniITX рулит, для 8х21х21см место найти - внутри "того ящика", в который всё запихнуть хотелось, хотя охлаждение - та ещё задача...

Надеюсь прояснил все обстоятельства. По прежнему вопросы относительно офисной задачи: 1. Есть ли вариант получить с FreeNAS+ZFS более быстрый storage с большей надежностью в моменты поломок винтов? Да, выход из строя/выключение диска в raidz2 - поднимал производительность.

3. Определиться с типом рейда для production (был 6, думаю о 50) и тестовой среде (думаю о 10). Если с ZFS играться - то или "никакой" или куча устройств с raid1, отданых ZFS в какой-нить raaidz2 - но то гамак интересный будет. Есть, кстати, raidz3 - для счастливчиков, у которых 3 диска сразу в хлам.

Относительно домашней задачи: 1. Думал собрать all-in-one в коротком корпусе под full ATX на 4U на базе мамы Supermicro с встроенным SAS2008, Xeon E3, 32GB памяти, 4 или 6 x4TB Seagate SAS.

Зачем дома даже 6 дисков? они, меж прочим, свет кушают, жужжат и греются. Хотя зеркало из пары ноутбучных для активно-юзаемого + сторадж из 4х4тб, который будет тушить диски при неиспользовании... В любом случае - торренто-качалка и толстое хранилище - это разные задачи, в первом диски убиваются активнее :) и "случайный доступ", у видеокамер - линейная запись большими кусками. Ну и в пулы я отдаю разделы, а не диски целиком - позволяет "маневрировать" - для чего-то зеркало из 3-4 дисков идеально, для другого - raidz2.

2. Почитал, что FreeNAS хочет от 8GB памяти и чем больше, тем лучше и призадумался, так как с E3 только 32GB, а E5 - это уже как-то заметно дороже.

Это ZFS хочет, и сожрет - всё, шо дашь. Мамка под 1366 и 6х8гб памяти. Да, официально не поддерживается. Зато ксеоны L56xx меньше 100 баксов стоят и жрут ватт 80 в разгоне до 6х3.2ГГц под линпаком :). Хотя те 3,2 - сравнимы с 2,6 ivy bridge. Дома L5639 ;) - намучался с подбором минимальных напряжений, чтоб пахало и не падало (кулер на нем - допиленный времен появления коре2 с 1300об/мин 90мм вентилятором, в пиковых нагрузках - еле справляется). -- Best regards, Paul Arakelyan.

On Fri, Jul 10, 2015 at 08:39:21AM +0300, Vladimir Sharun wrote:

Паша, пожалуйста. Глаза кровоточат это читать. L2ARC на SSD ты никогда не использовал, ну зачем людям заливать как оно и что ? Если бы юзал,

Я только ZIL пробовал, L2ARC - нет, бо не применимо было. Поюзал - и забил, потому как отключить "потом" оно не умело и если вдруг девайса нету - то "просто так" не взлетало. А любимые X-25M/X-25V довольно скоро (дни) начинали рисовать ремапы, чего при "обычной" нагрузке не наблюдалось. Х-25Е у меня не появился тогда :).

то рассказал бы, что L2 ARC *СЛОМАН* до сих пор и его использовать в продакшн *нельзя*. Проще подпереть памятью. Сейчас платформы с 256-512Гб широкодоступны.

Хм, ну и бюджетики :). У мну - бюджетик из моих денег был, с целевой окупаемостью в пол-года.

...

ZFS только если дисковые устройства "видно". Если при этом пашет кэш с батарейкой - наверно зашибись. идея с ZIL на SSD - хорошо помучает SSD, если пишется много.

-- Best regards, Paul Arakelyan.