On 07/05/13 14:51, Taras Heychenko wrote:

On 5 июля 2013, at 14:39, Max Speransky mailto:speransky@gmail.com> wrote:

...

Ну там HA уровня ноды, т.е. образА виртуалок лежат на общем сторадже, поверх которого должна быть кластерная файлуха типа gfs2, когда со всех участников видно все. Кмк в этом случае лучше что-бы NAS отдавал сразу NFS, раз они умеют в него ходить, будет проще админить. Используют судя по всему Clustering Suite от редхата, не лучшее решение, но если есть гуйня которая конфигурит сразу то ок.

Схема вполне типовая, можно взять любой NAS, главное что-бы raid6, nfsv4 и много скоростных портов.

Меня больше всего смущает в этой схеме скорость доступа к дискам. Т.е. вот каждая фраза "поверх всего этого" говорит о очередном замедлении реальной скорости работы с диском, который уже будет видеть виртуальная машина. Ну и собственно остается вопрос о надежности qnap'овских дивайсов. И может кто еще с какими raid'ами имел персональный опыт общения и может что присоветовать или отсоветовать.

Больше года безпроблемно работает Equallogic 4100E c пулом из нескольких XenServer. Особых требований по перфомансу нет, простой сетевой сторедж для нескольких десятков VM разного назначения без упора на дисковую производительность. XenServer, начиная со свежевыпущеной версии 6.2, умеет многие энтерпрайзовые штуки делать бесплатно (включая HA) А их StorageLink позволяет каждой виртуалке работать с volumes на Equallogic более-менее напрямую по iSCSI, минуя прокладки из LVM и файловых систем.

...

5 июля 2013 г., 14:31 пользователь Taras Heychenko mailto:tasic@academ.kiev.ua> написал:

On 5 июля 2013, at 14:18, Max Speransky mailto:speransky@gmail.com> wrote:

...

Хм, iSER фигачит на скорости 2xIB QDR, файберченнел нервно плачет, даже 16 гбитный, уже не хватает скорости pci. Для дома и семьи на 10гбе эзере можно запилить вполне себе быструю SAN, но Тасик наверняка хочет что-то готовое, qnap тот же линукс продает в коробке, iser/iscsi стек оченна хорош в той версии соляриса, которая на Oracle ZFS storage живет (оно же в девичестве Sun Open Storage), можно у того же оракла посмотреть Pillar Axiom. И база - будет ли поверх этих лунов кластеризация типа как в оракле кластере ? Если да, то iscsi слишком высокое латенси имеет для кворумирования через диск если инстансов более 6-ти.

Я пытаюсь разобраться. В данном случае я выступаю не как "настоящий сварщик", т.е. своими ручками я это вряд ли буду делать. Но разобраться нужно. Интересует установка Proxmox high availability cluster. http://pve.proxmox.com/wiki/High_Availability_Cluster Я вот еще почитал немножко -- по требованиям, которые там нарисованы, там вообще не iSCSI, а SAN or NAS/NFS for Virtual Disk Image Store for HA KVM. И я немножко перестал понимать, как "наш пилот будет поднимать всю эту фигню в воздух". Т.е. с одной стороны они вроде как обещают high availability, ну и что оно будет работать. А с другой стороны соединение поверх предложенного как-то мне кажется не быстрое получается. Кто-нибудь такое делал?

...

5 июля 2013 г., 14:10 пользователь Igor Grabin mailto:violent@death.kiev.ua> написал:

On Fri, Jul 05, 2013 at 01:51:00PM +0300, Taras Heychenko wrote: > > Под какие задачи нужен внешний RAID ? > Работа с базой данных через iSCSI. х его з. мой опыт показывает, что если полка не отдаётся по оптике - то по скорости точно будет уступать софтрейду из sata дисков.

быстрого iSCSI что не видел, что даже не слышал про такое.

-- Igor "CacoDem0n" Grabin

-- Yours, Max http://about.me/speransky http://idepositbox.com/

-- Taras Heychenko

-- Yours, Max http://about.me/speransky http://idepositbox.com/

-- Taras Heychenko

-- Andrey Lakhno

Да они все эти "сторы" в большинстве случаев просто линукс/соляра/бсд со своим проприетарным гуи. Если будет баг в kernel, то они мало что смогут сделать. Но у Нетаппа свои наработки, у EMC2, в в ZFS storage был специальный патчсет на соляру который не попадал в общее дерево. Поэтому мое мнение такое - если надо из коробки и дешево, то стоит брать что-то на соляре или линуксе, сорри за бсд, но там нету iser. Потратить деньги в интерпрайсе - нетапп, у них тренинги в С-Ф классные )) Ну и 18Тб это не серьезно - в текущем проекте в одной ноде 5u высотой только 252 Tb raw capacity ) для данных до 50Тб достаточно имеджи держать на тех же нодах где и машины, с drbd, выделить им с софтрейдом пару ядер, главное сеточку быструю, можно круто сэкономить купив железки серверные сразу с экнложе 5 июля 2013 г., 16:21 пользователь Vladimir Velychko написал:

2013/7/5 Max Speransky

...

всякие EMC2 и Netapp тоже без нареканий работали. Более всего мне нравился Sun Open Storage (Oracle ZFS), но это чит, т.к. я был в команде разработки ). Но если это

А что на счёт NexentaStor? Был положительный опыт, их 18ТБ фришной версии вполне хватало. -- VEL-[RIPE|UANIC]

-- Yours, Max http://about.me/speransky http://idepositbox.com

Я пробовал %) начиная с внутренних релизов для LLNL. Я бы не стал его пользовать в нагруженном продакшене, даже сейчас перфоманс низкий из-за выбранной модели портирования - SPL отъедает где-то 15%. ZFS=Solaris, хоть есть шансы получить поддержку. А если перфоманс не важен то вполне стабильное, все таки им занимаются серьезные пацаны, федералы уже кучу капусты влили, и судя по беседам с Бехлендорфом весной - вольют еще. Другие бекенды которые используют zpool, например Lustre, модифицируются что-бы избежать лишних copy-on-write и block aligment, за счет этого разница ldiskfs/zpool всего 3-5%. 5 июля 2013 г., 18:37 пользователь Vladimir Velychko написал:

Кому нужно больше 18ТБ на одной "голове" наверное могут и на лицензию потратиться. ;-) DRBD расстраивает необходимостью закладываться ровно вдвое на требуемые IOPS'ы на выходе.

Кстати кто-нибудь пробовал ZFS под линухом? Интересно, дорос до продакшена? :-)

2013/7/5 Max Speransky

...

Да они все эти "сторы" в большинстве случаев просто линукс/соляра/бсд со своим проприетарным гуи. Если будет баг в kernel, то они мало что смогут сделать. Но у Нетаппа свои наработки, у EMC2, в в ZFS storage был специальный патчсет на соляру который не попадал в общее дерево. Поэтому мое мнение такое - если надо из коробки и дешево, то стоит брать что-то на соляре или линуксе, сорри за бсд, но там нету iser. Потратить деньги в интерпрайсе - нетапп, у них тренинги в С-Ф классные ))

Ну и 18Тб это не серьезно - в текущем проекте в одной ноде 5u высотой только 252 Tb raw capacity ) для данных до 50Тб достаточно имеджи держать на тех же нодах где и машины, с drbd, выделить им с софтрейдом пару ядер, главное сеточку быструю, можно круто сэкономить купив железки серверные сразу с экнложе

5 июля 2013 г., 16:21 пользователь Vladimir Velychko

...

написал:

2013/7/5 Max Speransky

...

...

всякие EMC2 и Netapp тоже без нареканий работали. Более всего мне нравился Sun Open Storage (Oracle ZFS), но это чит, т.к. я был в команде разработки ). Но если это

А что на счёт NexentaStor? Был положительный опыт, их 18ТБ фришной версии вполне хватало. -- VEL-[RIPE|UANIC]

-- Yours, Max http://about.me/speransky http://idepositbox.com

-- VEL-[RIPE|UANIC]

-- Yours, Max http://about.me/speransky http://idepositbox.com