Коллеги, такой вопрос. Background: Есть сервис-провайдер, который предоставляет определенные услуги (kind of voice services) другим организациям. Точки присутствия этого провайдера находятся в нескольких городах Украины и России. Как для организации общего маршрутизируемого сегмента между площадками, так и для подключения клиентов используются туннели (IPIP / IPSec). На сегодняшний день ресурсы используемого оборудования исчерпаны: Cisco 18xx, 19xx на 25-30Mbps трафика вышли на 100-процентную загрузку CPU с соответствующими потерями (туннельный трафик весь process switched, поэтому возможности fast switching не могут быть утилизированы). UPDATE: в каждой PoP этот сервис-провайдер подключен к разным интернет-провайдерам. Поэтому вопрос получения провайдерского VPN (например, у Укртелеком) для организации связности между своими PoP пока не рассматривается. Суть задачи: Апгрейд оборудования лишен смысла - переход на 100Mbps-capable оборудование в такой конфигурации (туннели) за скромные деньги невозможен: - маршрутизаторы cisco 29xx / 39xx отодвигают проблему на полгодика-годик (и стоят совсем не пять копеек) - juniper j-series тянут от $2k за штуку (не учитывая лицензий IPSec/etc) - в украине есть 7304/NSE-100 за $6-7k за штуку, но IPSec в PXF не обрабатывается - что-то серьезное типа ASR1000 - за >$15k То есть логично выплывает желание использовать что-то nix-based, поскольку соотношение цены/производительности в бОльшей степени определяется требованиями к производительности x86-based сервера и, по сравнению с C/J-based решением, цена его значительно ниже. Такое решение не только дешевле установить, но и дешевле держать необходимый резерв. С другой стороны, хочется использовать специализированное решение, заточенное под определенную задачу, чтобы от человека, который возьмет на себя обслуживание этой сети, не требовалось широкое знание nix-систем. Мне в голову приходит два относительно недорогих решения: - mikrotik RB-series. Тут у меня только одно опасение - закрытый софт, закрытая система и появление новых фич определяется мнением поставщика на сей счет. Например, поддержка GRE в mikrotik'ах просилась на форумах в течение нескольких лет, пока была реализована. - linux-based systems like http://www.vyatta.org/ - вроде, почти идеальный продукт - развивается не в пример быстрее mikrotik'а и выбор аппаратной платформы намного шире,чем у mikrotik (собственно, лимитируется только здравым смыслом и требуемой мощностью при выборе железа) Вопрос в следующем: - можете прокомментировать мой ход мысли и последовавшие за ним выводы и сказать, насколько надежно использование того или иного решения в промышленном применении под нагрузкой до 100Mbps в режиме форвардинга IPIP/IPSec, маршрутизацией BGP/OSPF, защитой с помощью ACL и доступа в режиме SSH? - на что, кроме mikrotik и vyatta, можно еще посмотреть? - у кого есть реальный опыт использования этих решений? Если же все-таки говорить о J-series (как о самом дешевом из вменяемого), то каковы у них реальные параметры производительности на imix-трафике, образованном IPIP / IPSec туннелями? Данные из даташита не дают возможности оценить реальную производительность (худший вариант - J2320 Firewall+Routing @ 64-byte packets дает 175Kpps/90Mbps, но что они считают файрволлом - ACL'и или stateful inspection, я не знаю) Спасибо. -- /doka ~~~~~~~~ http://doka-ua.blogspot.com/ http://omar-ha-em.blogspot.com/ "Справа не в церкві і не в наркотиках. Справа у відповідальності та вдячності. Якщо в тебе це є, маєш шанс померти не останньою скотиною." (с) С.Жадан, "Ворошиловград"
Делали такое на 1u серверах половинной длинны. CPU VIA C3 с пассивных охлаждением и внешний ethernet intel. OS: OpenBSD запускался с Flash IDE, no swap, syslog на центральный сервер. IPSEC в OpenBSD умеет на VIA делать AES одной инструкцией CPU, 100 Mbps через себя пропускало на ура. Роутниг или zebra/quagga или свои решения OpenBSD, ACL - pf. Примерно год работало при мне без проблем.
Вопрос в следующем:
- можете прокомментировать мой ход мысли и последовавшие за ним выводы и сказать, насколько надежно использование того или иного решения в промышленном применении под нагрузкой до 100Mbps в режиме форвардинга IPIP/IPSec, маршрутизацией BGP/OSPF, защитой с помощью ACL и доступа в режиме SSH? - на что, кроме mikrotik и vyatta, можно еще посмотреть? - у кого есть реальный опыт использования этих решений?
Ну это вы дистрибутив руками точили до состояния использования, да? On 11/28/2011 4:29 PM, Sergey Smitienko wrote:
Делали такое на 1u серверах половинной длинны. CPU VIA C3 с пассивных охлаждением и внешний ethernet intel. OS: OpenBSD запускался с Flash IDE, no swap, syslog на центральный сервер. IPSEC в OpenBSD умеет на VIA делать AES одной инструкцией CPU, 100 Mbps через себя пропускало на ура. Роутниг или zebra/quagga или свои решения OpenBSD, ACL - pf. Примерно год работало при мне без проблем.
Вопрос в следующем:
- можете прокомментировать мой ход мысли и последовавшие за ним выводы и сказать, насколько надежно использование того или иного решения в промышленном применении под нагрузкой до 100Mbps в режиме форвардинга IPIP/IPSec, маршрутизацией BGP/OSPF, защитой с помощью ACL и доступа в режиме SSH? - на что, кроме mikrotik и vyatta, можно еще посмотреть? - у кого есть реальный опыт использования этих решений?
-- /doka ~~~~~~~~ http://doka-ua.blogspot.com/ http://omar-ha-em.blogspot.com/ "Справа не в церкві і не в наркотиках. Справа у відповідальності та вдячності. Якщо в тебе це є, маєш шанс померти не останньою скотиною." (с) С.Жадан, "Ворошиловград"
Vladimir Litovka wrote:
Ну это вы дистрибутив руками точили до состояния использования, да?
On 11/28/2011 4:29 PM, Sergey Smitienko wrote:
Делали такое на 1u серверах половинной длинны. CPU VIA C3 с пассивных охлаждением и внешний ethernet intel. OS: OpenBSD запускался с Flash IDE, no swap, syslog на центральный сервер. IPSEC в OpenBSD умеет на VIA делать AES одной инструкцией CPU, 100 Mbps через себя пропускало на ура. Роутниг или zebra/quagga или свои решения OpenBSD, ACL - pf. Примерно год работало при мне без проблем.
Вопрос в следующем:
- можете прокомментировать мой ход мысли и последовавшие за ним выводы и сказать, насколько надежно использование того или иного решения в промышленном применении под нагрузкой до 100Mbps в режиме форвардинга IPIP/IPSec, маршрутизацией BGP/OSPF, защитой с помощью ACL и доступа в режиме SSH? - на что, кроме mikrotik и vyatta, можно еще посмотреть? - у кого есть реальный опыт использования этих решений?
RouterOS (mikrotik) - работает вполне стабильно , то что софт закрыт - можно требовать от микротика устранения багов , они достаточно быстро устраняют . Недостатки - при большом кол-во туннелей софт не есть производительным , возможны "пляски" по прошивкам при использование каких-то специфик-фич . В целом если брать железо Routerboard с софтом RouterOS вполне жизнеспособное решение с надежностью чуть ниже циски (имею опыть с Routerboard , отход в мир иной около 1-2% железок/в год , в основном по причине статитических разрядов и питания).
On Mon, Nov 28, 2011 at 04:18:52PM +0200, Vladimir Litovka wrote:
UPDATE: в каждой PoP этот сервис-провайдер подключен к разным интернет-провайдерам. Поэтому вопрос получения провайдерского VPN (например, у Укртелеком) для организации связности между своими PoP пока не рассматривается.
Вообще говоря, практически каждый провайдер готов кроме услуги доступа в интернет предоставить еще и услугу "последней мили" до другого провайдера. Так что я бы эту опцию полностью не отбрасывал.
Апгрейд оборудования лишен смысла - переход на 100Mbps-capable оборудование в такой конфигурации (туннели) за скромные деньги невозможен: - маршрутизаторы cisco 29xx / 39xx отодвигают проблему на полгодика-годик (и стоят совсем не пять копеек) - juniper j-series тянут от $2k за штуку (не учитывая лицензий IPSec/etc)
Лицензия на ipsec там не требуется. Впрочем, в данном случае я бы смотрел скорее не на j-series, а на мелкие srx'ы (см. ниже).
- в украине есть 7304/NSE-100 за $6-7k за штуку, но IPSec в PXF не обрабатывается - что-то серьезное типа ASR1000 - за >$15k
То есть логично выплывает желание использовать что-то nix-based, поскольку соотношение цены/производительности в бОльшей степени определяется требованиями к производительности x86-based сервера и, по сравнению с C/J-based решением, цена его значительно ниже. Такое решение не только дешевле установить, но и дешевле держать необходимый резерв. С другой стороны, хочется использовать специализированное решение, заточенное под определенную задачу, чтобы от человека, который возьмет на себя обслуживание этой сети, не требовалось широкое знание nix-систем.
... а требовалось глубокое знание одной узкой системы, мало где на практике применяемой. Или, в обычном худшем случае - просто знание _еще одной_ системы. В общем, здесь я с тобой не согласен. Если уж смотреть в сторону unix-based платформ - то, jimho, смотреть стоит в сторону "обычных" unix'ов, обслуживаемых обычными админами, иначе зарплата "специально заточенного" админа скушает всю разницу по capex'у :)
- можете прокомментировать мой ход мысли и последовавшие за ним выводы и сказать, насколько надежно использование того или иного решения в промышленном применении под нагрузкой до 100Mbps в режиме форвардинга IPIP/IPSec, маршрутизацией BGP/OSPF, защитой с помощью ACL и доступа в режиме SSH? - на что, кроме mikrotik и vyatta, можно еще посмотреть?
Посмотри еще на pfSense (http://www.pfsense.org/). На базе freebsd/pf/pfsync/carp (тот же pfsense только без web'а) вполне вменяемый redundant array of inexpensive firewalls строится очень просто и работает годами (IPSec и dynamic routing в моем случае не было за ненадобностью).
- у кого есть реальный опыт использования этих решений?
Если же все-таки говорить о J-series (как о самом дешевом из вменяемого), то каковы у них реальные параметры производительности на imix-трафике, образованном IPIP / IPSec туннелями? Данные из даташита не дают возможности оценить реальную производительность (худший вариант - J2320 Firewall+Routing @ 64-byte packets дает 175Kpps/90Mbps, но что они считают файрволлом - ACL'и или stateful inspection, я не знаю)
На srx210 я без проблем разогнал ipsec-туннель до 40Mbit на больших пакетах и до 8kpps на мелких. Возможно, там получится и больше - с другой стороны туннеля стояла FreeBSD pIII/600Mhz. На обычном ip/mpls знакомые его до 900Mbit разгоняли (опять же, больше разогнать задача не стояла). -- In theory, there is no difference between theory and practice. But, in practice, there is.
On 11/29/2011 3:58 PM, Alexandre Snarskii wrote:
То есть логично выплывает желание использовать что-то nix-based, поскольку соотношение цены/производительности в бОльшей степени определяется требованиями к производительности x86-based сервера и, по сравнению с C/J-based решением, цена его значительно ниже. Такое решение не только дешевле установить, но и дешевле держать необходимый резерв. С другой стороны, хочется использовать специализированное решение, заточенное под определенную задачу, чтобы от человека, который возьмет на себя обслуживание этой сети, не требовалось широкое знание nix-систем. ... а требовалось глубокое знание одной узкой системы, мало где на практике применяемой. Или, в обычном худшем случае - просто знание _еще одной_ системы.
В общем, здесь я с тобой не согласен. Если уж смотреть в сторону unix-based платформ - то, jimho, смотреть стоит в сторону "обычных" unix'ов, обслуживаемых обычными админами, иначе зарплата "специально заточенного" админа скушает всю разницу по capex'у :)
а какой x86-железки будет достаточно, чтобы переварить до 100Mbps трафика (200Mbps throughput - т.е. 100/in + 100/out) с тремя гигабитными интерфейсами и двумя full view? CPU/RAM? Производитель? Спасибо
- можете прокомментировать мой ход мысли и последовавшие за ним выводы и сказать, насколько надежно использование того или иного решения в промышленном применении под нагрузкой до 100Mbps в режиме форвардинга IPIP/IPSec, маршрутизацией BGP/OSPF, защитой с помощью ACL и доступа в режиме SSH? - на что, кроме mikrotik и vyatta, можно еще посмотреть? Посмотри еще на pfSense (http://www.pfsense.org/).
На базе freebsd/pf/pfsync/carp (тот же pfsense только без web'а) вполне вменяемый redundant array of inexpensive firewalls строится очень просто и работает годами (IPSec и dynamic routing в моем случае не было за ненадобностью).
- у кого есть реальный опыт использования этих решений?
Если же все-таки говорить о J-series (как о самом дешевом из вменяемого), то каковы у них реальные параметры производительности на imix-трафике, образованном IPIP / IPSec туннелями? Данные из даташита не дают возможности оценить реальную производительность (худший вариант - J2320 Firewall+Routing @ 64-byte packets дает 175Kpps/90Mbps, но что они считают файрволлом - ACL'и или stateful inspection, я не знаю) На srx210 я без проблем разогнал ipsec-туннель до 40Mbit на больших пакетах и до 8kpps на мелких. Возможно, там получится и больше - с другой стороны туннеля стояла FreeBSD pIII/600Mhz. На обычном ip/mpls знакомые его до 900Mbit разгоняли (опять же, больше разогнать задача не стояла).
-- /doka ~~~~~~~~ http://doka-ua.blogspot.com/ http://omar-ha-em.blogspot.com/ "Справа не в церкві і не в наркотиках. Справа у відповідальності та вдячності. Якщо в тебе це є, маєш шанс померти не останньою скотиною." (с) С.Жадан, "Ворошиловград"
participants (4)
-
Alexandr Turovsky -
Alexandre Snarskii -
Sergey Smitienko -
Vladimir Litovka