Здоровенькi були! А что уважаемые думают о такой технологии как InfiniBand? Судя по нынешним ценам, получается интересная альтернатива 10Gigabit Ethernet для SAN. Может есть какие-то подводные грабли, нивилирующие ценовую разницу? Поделитесь плиз опытом какие недостатки/ограничения у этой технологии встречаются на практике? Спасибо. -- VEL-[RIPE|UANIC]
Thu, Oct 21, 2010 at 14:10:21, vvelychko wrote about "[uanog] InfiniBand":
Здоровенькi були! А что уважаемые думают о такой технологии как InfiniBand? Судя по нынешним ценам, получается интересная альтернатива 10Gigabit Ethernet для SAN.
Применяем. В основном работает.:)
Может есть какие-то подводные грабли, нивилирующие ценовую разницу? Поделитесь плиз опытом какие недостатки/ограничения у этой технологии встречаются на практике? Спасибо.
Какие именно цели применения? -netch-
2010/10/21 Valentin Nechayev
Thu, Oct 21, 2010 at 14:10:21, vvelychko wrote about "[uanog] InfiniBand":
Здоровенькi були! А что уважаемые думают о такой технологии как InfiniBand? Судя по нынешним ценам, получается интересная альтернатива 10Gigabit Ethernet для SAN.
Применяем. В основном работает.:) Ой, как хорошо! :)
Может есть какие-то подводные грабли, нивилирующие ценовую разницу? Поделитесь плиз опытом какие недостатки/ограничения у этой технологии встречаются на практике? Спасибо.
Какие именно цели применения? Обеспечить высокоскоростную связанность: между сетевым(и) хранилищем(ями) и серверами приложений; между сервером виртуализации и SAN, на котором живут сами виртуалки (с поддержкой multipath).
-- VEL-[RIPE|UANIC]
2010/10/21 Valentin Nechayev
Thu, Oct 21, 2010 at 14:10:21, vvelychko wrote about "[uanog] InfiniBand":
Здоровенькi були! А что уважаемые думают о такой технологии как InfiniBand? Судя по нынешним ценам, получается интересная альтернатива 10Gigabit Ethernet для SAN.
Применяем. В основном работает.:) В догонку - какие NIC's & switches НЕ стоит брать и какие бренды/модели заслуживают доверия, если не сложно?
-- VEL-[RIPE|UANIC]
1) IPoIB - говно и dhcp не работает :)
2) для SAN надо юзать iSER или файловые системы, которые умеют IB -
GPFS, Lustre f.e.
3) те кто в теме, используют давно, но CX4 кабеля - ужас, а оптический
QDR стоит не мало
4) в линуксе стек мелланокса не самый лучший, более живой в solaris и
его comstar
5) IB надо рассматривать только в применении к RDMA, про iP не думать вообще
6) из брендов смотреть на Mellanox только, Cisco TopSpin и кто там их
наследник - фтопку
7) а вообще, бери 10GE+iscsi+jumboframe и забудь о IB
21 октября 2010 г. 14:10 пользователь Vladimir Velychko
Здоровенькi були! А что уважаемые думают о такой технологии как InfiniBand? Судя по нынешним ценам, получается интересная альтернатива 10Gigabit Ethernet для SAN.
Может есть какие-то подводные грабли, нивилирующие ценовую разницу? Поделитесь плиз опытом какие недостатки/ограничения у этой технологии встречаются на практике? Спасибо. -- VEL-[RIPE|UANIC]
-- Yours, Max
Thu, Oct 21, 2010 at 14:52:16, speransky wrote about "Re: [uanog] InfiniBand":
1) IPoIB - говно и dhcp не работает :)
ISC - не работает. dhcpcd - занефиг. Учитывая стиль и качество ISC, ориентироваться на него бессмысленно. В остальном - не IPoIB говно, а те реализации, которые считают, что ничего кроме MAC не бывает (как в Linux)
2) для SAN надо юзать iSER или файловые системы, которые умеют IB - GPFS, Lustre f.e. 3) те кто в теме, используют давно, но CX4 кабеля - ужас, а оптический QDR стоит не мало
Это да.
4) в линуксе стек мелланокса не самый лучший, более живой в solaris и его comstar 5) IB надо рассматривать только в применении к RDMA, про iP не думать вообще
Ну почему же, для управления подойдёт. Для плотного трафика - таки да, RDMA если не наше всё, то близко к тому. -netch-
Thu, Oct 21, 2010 at 14:39:41, vvelychko wrote about "Re: [uanog] InfiniBand":
Какие именно цели применения? Обеспечить высокоскоростную связанность: между сетевым(и) хранилищем(ями) и серверами приложений; между сервером виртуализации и SAN, на котором живут сами виртуалки (с поддержкой multipath).
У нас специфика - HPC. Поэтому подходы соответствующие. Из вендоров активно применяем только Mellanox, про другие ничего не скажу. Для дисков транспорт - RDMA SCSI. Multipath работает, но насколько требуются подпорки, я ещё не изучил. Вообще, заводясь работать с IB, надо понимать его специфику. Это никак не просто "как Ethernet, но быстрее" - надо знать, например, что в L2 сегменте нет просто отправки пакета "в воздух", он всегда доставляется или приходит недоставка (а пока не доставлен - хранится для возможной перепосылки). У него свой стек протоколов с оптимизацией на свою специфику и свои задачи. IP over IB работает, но является значительно более накладным решением по сравнению со специализированными, а попытка завести, например, NFS over IP over IB чревата дикими тормозами. Тем не менее, RDMA SCSI работает очень хорошо и является штатным подходом (более, чем альтернативные). Но приготовьтесь выложить денег, может, больше, чем за 10G Ethernet. -netch-
1) IPoIB - говно и dhcp не работает :)
ISC - не работает. dhcpcd - занефиг. Учитывая стиль и качество ISC, ориентироваться на него бессмысленно. В остальном - не IPoIB говно, а те реализации, которые считают, что ничего кроме MAC не бывает (как в Linux)
а какие ты реализации кроме линукса и соляриса знаешь ? уиндоуз ? ну и хоть сервер как-то можно запинать (isc имеет патч) то клиент из коробки не работает. я делал network boot+iser root на linux+IB, знатно поимел секаса, продакшеном это и не пахнет
2) для SAN надо юзать iSER или файловые системы, которые умеют IB - GPFS, Lustre f.e. 3) те кто в теме, используют давно, но CX4 кабеля - ужас, а оптический QDR стоит не мало
Это да.
4) в линуксе стек мелланокса не самый лучший, более живой в solaris и его comstar 5) IB надо рассматривать только в применении к RDMA, про iP не думать вообще
Ну почему же, для управления подойдёт. Для плотного трафика - таки да, RDMA если не наше всё, то близко к тому.
когда RDMA забьет всю полосу, для IP не будет места =) QoS IP-RDMA там через SM как я помню управляется, а OpenSM это не умеет
-netch-
-- Yours, Max
Thu, Oct 21, 2010 at 15:17:58, speransky wrote about "Re: [uanog] InfiniBand":
1) IPoIB - говно и dhcp не работает :)
ISC - не работает. dhcpcd - занефиг. Учитывая стиль и качество ISC, ориентироваться на него бессмысленно. В остальном - не IPoIB говно, а те реализации, которые считают, что ничего кроме MAC не бывает (как в Linux)
а какие ты реализации кроме линукса и соляриса знаешь ? уиндоуз ? ну и хоть сервер как-то можно запинать (isc имеет патч) то клиент из коробки не работает. я делал network boot+iser root на linux+IB, знатно поимел секаса, продакшеном это и не пахнет
Я повторяю: правильные клиенты надо использовать. В данном случае dhcpcd, а не dhclient имени ISC, который легче выбросить, чем вылечить. Мы больше "поимели секса" как раз с сервером, пока не привернули хак - от ID взять последние 8 байт (которые собственно GUID карточки) и смотреть по ним. Потому что они постоянны, а предшествующие (особенно первые 4) прыгают в такт фазе Луны, дождям на Марсе и поляризации облака Оорта. Т.наз. "патч" от Mellanox для сервера ISC годится только в том волшебном случае, когда у тебя первые 4 байта постоянны. Что ой не всегда.
Ну почему же, для управления подойдёт. Для плотного трафика - таки да, RDMA если не наше всё, то близко к тому. когда RDMA забьет всю полосу, для IP не будет места =) QoS IP-RDMA там через SM как я помню управляется, а OpenSM это не умеет
С таким мы ещё не сталкивались, спасибо за наводку на подумать. -netch-
21 октября 2010 г. 15:22 пользователь Valentin Nechayev
Thu, Oct 21, 2010 at 15:17:58, speransky wrote about "Re: [uanog] InfiniBand":
1) IPoIB - говно и dhcp не работает :)
ISC - не работает. dhcpcd - занефиг. Учитывая стиль и качество ISC, ориентироваться на него бессмысленно. В остальном - не IPoIB говно, а те реализации, которые считают, что ничего кроме MAC не бывает (как в Linux)
а какие ты реализации кроме линукса и соляриса знаешь ? уиндоуз ? ну и хоть сервер как-то можно запинать (isc имеет патч) то клиент из коробки не работает. я делал network boot+iser root на linux+IB, знатно поимел секаса, продакшеном это и не пахнет
Я повторяю: правильные клиенты надо использовать. В данном случае
ну не "правильные" а самодельные ? Или ссылка есть ? я в итоге оставил IB+dhcp в покое и управляю формированием ifcfg-ib0 через puppet
dhcpcd, а не dhclient имени ISC, который легче выбросить, чем вылечить. Мы больше "поимели секса" как раз с сервером, пока не привернули хак - от ID взять последние 8 байт (которые собственно GUID карточки) и смотреть по ним. Потому что они постоянны, а предшествующие (особенно первые 4) прыгают в такт фазе Луны, дождям на Марсе и поляризации облака Оорта.
-- Yours, Max
Thu, Oct 21, 2010 at 15:26:48, speransky wrote about "Re: [uanog] InfiniBand":
Я повторяю: правильные клиенты надо использовать. В данном случае
ну не "правильные" а самодельные ? Или ссылка есть ?
Шорт побьери. Я ж точное название дал. Гугл не работает, или ты его просто не вылавливаешь как название?
я в итоге оставил IB+dhcp в покое и управляю формированием ifcfg-ib0 через puppet
У меня, увы, временами сетевая загрузка по IB, так просто не получится.
dhcpcd, а не dhclient имени ISC, который легче выбросить, чем
-netch-
хех, таки да, пропустил
21 октября 2010 г. 15:49 пользователь Valentin Nechayev
Thu, Oct 21, 2010 at 15:26:48, speransky wrote about "Re: [uanog] InfiniBand":
Я повторяю: правильные клиенты надо использовать. В данном случае
ну не "правильные" а самодельные ? Или ссылка есть ?
Шорт побьери. Я ж точное название дал. Гугл не работает, или ты его просто не вылавливаешь как название?
я в итоге оставил IB+dhcp в покое и управляю формированием ifcfg-ib0 через puppet
У меня, увы, временами сетевая загрузка по IB, так просто не получится.
dhcpcd, а не dhclient имени ISC, который легче выбросить, чем
-netch-
-- Yours, Max
Выяснилось, что ни Citrix Xen, ни VMware официально не
поддерживают InfiniBand. 8-(
Заявлена частичная поддержка со стороны самого Mellanox,
но этого не достаточно.
Остаётся двигаться в сторону 10G.
2010/10/21 Vladimir Velychko
Здоровенькi були! А что уважаемые думают о такой технологии как InfiniBand? Судя по нынешним ценам, получается интересная альтернатива 10Gigabit Ethernet для SAN.
Может есть какие-то подводные грабли, нивилирующие ценовую разницу? Поделитесь плиз опытом какие недостатки/ограничения у этой технологии встречаются на практике? Спасибо.
-- VEL-[RIPE|UANIC]
participants (3)
-
Max Speransky -
Valentin Nechayev -
Vladimir Velychko