Re: [uanog] ISP/NSP сеть с нуля в 2020

Для производительности Nx10/Nx100 - посмотрите на коммутаторы Mellanox. Они стоят недорого (в пересчет на гиг пропускной полосы), поддерживают до 512k routes (на full view не хватит, но если плюнуть на suboptimal и агрегировать - то норм) и имеют VXLAN/EVPN на борту. Они могут работать под двумя операционками - MLNX OS или Cumulus Linux и вполне юзабельны. Если не харит использовать нелицензионное - то MX5 с крякнутой лицензией (до MX80). Виртуальные раутеры имени Cisco/Juniper жручи по ресурсам и скорее подходят на роль сервисных нодов (включая BGP RR), чем транзитных узлов. С другой стороны, RR можно намного менее ресурсоёмко сделать на Bird, например - виртуалка на пару CPU + 4 гига памяти стоит не слишком дорого, а хватит её в режиме RR надолго. Шифрование на всех уровнях - это (а) само по себе упражнение и (б) с резкой потерей производительности. В оригинальном письме упоминалось 100G - так вот я не уверен, что получится именно шифровать на такой скорости. Тогда лучше делать шифрацию на границе между DF и транспортными провайдерами и строить между ними полносвязную IPSec коммутацию - тут или руцями все туннели провижинить, или, например, использовать Cisco DMVPN (Nx fullmesh где N - количество транспортных провайдеров). Смотря сколько денег в бюджете, можно использовать Cisco ISR4400 series в точках агрегации DF, а между ISR4400 - IPSec tunnels over L2 VPN. Если дешево и руки не устанут - то Mikrotik RB750Gr3 дает около 450Mbps (в обе стороны) AES-128 для пакетов размером 1400 байт и для устройства за $60 это охеренный результат. Для пакетов в два раза меньше производительность тоже ухудшится, но 100Mbps, как мне представляется, получится при любых раскладах. Если мало и нужно что-то посредине - Mikrotik CCR, но там когда-то были нюансы с IPSec offload, надо по форумам смотреть. On 04.11.2019 17:37, Eduard M wrote:

On 04/11/2019 16:01, Vladimir Sharun wrote:

...

Привет,

Привет

...

Аренда L2 против Dark Fiber - с нюансами штука в 2019-м.

Планируется микс. Последняя миля может быть любой - GPON, DF, WIFI, 5G, DSL, COAX, etc

В ядре международной сети DF (конкретно для этого проекта) - маловероятно. Стоимость зашкаливает.

Поэтому L2 + несколько доверенных партнеров (риск овербукинга меньше).

L3 только в крайнем случае.

На уровне распределения DF возможен

...

Например в DF тебе не напихают чужой DDOS, DF (как и L2) подвержен потерям (но это легко детектируется и таких инцидентов меньше как правило). В DF потери - это выяснили точку и поправили (не всегда с первого раза, но как правило - да), а в L2 - это могут быть какие-то "сильно не вовремя" (см DDOS или "извините, у нас порвалось в Поджопинске и из-за овербукинга - страдайте"). Ну и double fault на L2 - это тоже не то чтобы невероятно, даже у Tier1.

Ну, например, будет L2 + L2 (альтернативный маршрут/альтернативный оператор) AMS-FF

Есть лучше альтернативы? ;)

...

С виртуальными роутерами может быть похожая ситуация: сосед каким-то образом уложил ресурсы чего-то (наперед непредсказуемого) и попробуй еще угадай, почему у тебя глючит.

Я же не зря упомянул много красивых слов с самого начала ;)

Запустить кластер чего-то - не проблема. Вопрос чего именно и что на этом кластере крутить ;)

Подавляющее большинство NNI - в ДЦ любого масштаба. Свитч(и) + такой себе стандартный кластер в каждый ДЦ. Это для ядра.

Можно даже свитчами обойтись (но какими?) в случае L2 услуг (EVPN/VXLAN для избавления от VLAN range overlap?). L3 всегда может быть проброшен куда-то к ближайшему роутеру.

Почитал еще вот

https://www.ripe.net/participate/forms/uploads/fobi_plugins/file/ripe-ncc-da...

https://pc.nanog.org/static/published/meetings/NANOG72/1555/20180219_Steenbe...

https://ripe68.ripe.net/presentations/170-ripe-68-evpn.pdf

С ресурсами - хз. Я поэтому и спрашиваю, может, на 2020 год уже что-то суперское доступно на рынке (есть же уже виртуальные роутеры Cisco, Juniper, Mikrotik, etc). Виртуальные роутеры доступны на амазоне и azure.

...

Кстати ты забыл еще безглючность. Стойкость к отказам и безглючность - не одно и то же, бгггг. Причем вот этот самый L2 - это штука с глюками, да.

Вот это, кстати, в точку. Да, хочу безглючности )

И надежности

...

А еще в L2 легко поставить прослушку. В DF не то чтобы сложно тоже, но в L2 - вообще париться не надо. Т.е. если кто-то кого ловит через контроль endpoint'ов (даркнет деанон например) - это подарок.

Да, еще один важный момент. Супер.

Внесу в требования шифрование между всеми компонентами на скорости среды. Дальше будет видно во что это выливается по стоимости.

...

popcorn.gif

/4 листопада 2019, 16:48:01, від "Eduard M" mailto:eduard@melnik.org.ua>:/

Добрый день!

Коллеги, 2019 год (облака, SDN, virtual edge, containers, software-centric networks и т.д.)...

Как бы вы строили ISP/NSP сеть в 2020 году с нуля?

* минимальное количество BER (Big Expensive Routers)

* отказоустойчивость

* корпоративный сектор

* международная сеть

* L2/L3 сервисы. В основном, L2 + VLAN range

* Inter-carrier connections & NNI

* 1/10/100G

* OAM и соотвествующие процессы

* максимальная автоматизация сети и услуг (наличие API как-минимум, самообслуживание для клиентов и автоконфигурация сервисов на основе их выбора и т.д.)

Пока картина складывается примерно такая:

* физические коммутаторы для PoPs (держат все интерконнекты)

* виртуальные роутеры в датацентрах (BGP с аплинками и клиентами) + NNI + virtual edge

* аренда L2 (если нет своей оптики)

* использование L3 (если нет L2)

* EVPN-VXLAN как основные технологии

* не ясно что с MTU

* не ясно на какие бренды смотреть (свитчи и виртуальные роутеры)

Покритикуйте конструктивно плз.

Заранее спасибо!

Если кто может помочь с детальным дизайном - пишите в личку. Договоримся.

Эдуард Мельник

_______________________________________________ uanog mailing list uanog@uanog.kiev.ua mailto:uanog@uanog.kiev.ua https://mailman.uanog.kiev.ua/mailman/listinfo/uanog

_______________________________________________ uanog mailing list uanog@uanog.kiev.ua https://mailman.uanog.kiev.ua/mailman/listinfo/uanog

-- Volodymyr Litovka "Vision without Execution is Hallucination." -- Thomas Edison