ISP/NSP сеть с нуля в 2020

Eduard M

4 Nov 2019 4 Nov '19

2:47 p.m.

Добрый день! Коллеги, 2019 год (облака, SDN, virtual edge, containers, software-centric networks и т.д.)... Как бы вы строили ISP/NSP сеть в 2020 году с нуля? * минимальное количество BER (Big Expensive Routers) * отказоустойчивость * корпоративный сектор * международная сеть * L2/L3 сервисы. В основном, L2 + VLAN range * Inter-carrier connections & NNI * 1/10/100G * OAM и соотвествующие процессы * максимальная автоматизация сети и услуг (наличие API как-минимум, самообслуживание для клиентов и автоконфигурация сервисов на основе их выбора и т.д.) Пока картина складывается примерно такая: * физические коммутаторы для PoPs (держат все интерконнекты) * виртуальные роутеры в датацентрах (BGP с аплинками и клиентами) + NNI + virtual edge * аренда L2 (если нет своей оптики) * использование L3 (если нет L2) * EVPN-VXLAN как основные технологии * не ясно что с MTU * не ясно на какие бренды смотреть (свитчи и виртуальные роутеры) Покритикуйте конструктивно плз. Заранее спасибо! Если кто может помочь с детальным дизайном - пишите в личку. Договоримся. Эдуард Мельник

Show replies by date

Vladimir Sharun

4 Nov 4 Nov

3:01 p.m.

New subject: ISP/NSP сеть с нуля в 2020

Привет, Аренда L2 против Dark Fiber - с нюансами штука в 2019-м. Например в DF тебе не напихают чужой DDOS, DF (как и L2) подвержен потерям (но это легко детектируется и таких инцидентов меньше как правило). В DF потери - это выяснили точку и поправили (не всегда с первого раза, но как правило - да), а в L2 - это могут быть какие-то "сильно не вовремя" (см DDOS или "извините, у нас порвалось в Поджопинске и из-за овербукинга - страдайте"). Ну и double fault на L2 - это тоже не то чтобы невероятно, даже у Tier1. С виртуальными роутерами может быть похожая ситуация: сосед каким-то образом уложил ресурсы чего-то (наперед непредсказуемого) и попробуй еще угадай, почему у тебя глючит. Кстати ты забыл еще безглючность. Стойкость к отказам и безглючность - не одно и то же, бгггг. Причем вот этот самый L2 - это штука с глюками, да. А еще в L2 легко поставить прослушку. В DF не то чтобы сложно тоже, но в L2 - вообще париться не надо. Т.е. если кто-то кого ловит через контроль endpoint'ов (даркнет деанон например) - это подарок. popcorn.gif 4 листопада 2019, 16:48:01, від "Eduard M" : Добрый день! Коллеги, 2019 год (облака, SDN, virtual edge, containers, software-centric networks и т.д.)... Как бы вы строили ISP/NSP сеть в 2020 году с нуля? * минимальное количество BER (Big Expensive Routers) * отказоустойчивость * корпоративный сектор * международная сеть * L2/L3 сервисы. В основном, L2 + VLAN range * Inter-carrier connections & NNI * 1/10/100G * OAM и соотвествующие процессы * максимальная автоматизация сети и услуг (наличие API как-минимум, самообслуживание для клиентов и автоконфигурация сервисов на основе их выбора и т.д.) Пока картина складывается примерно такая: * физические коммутаторы для PoPs (держат все интерконнекты) * виртуальные роутеры в датацентрах (BGP с аплинками и клиентами) + NNI + virtual edge * аренда L2 (если нет своей оптики) * использование L3 (если нет L2) * EVPN-VXLAN как основные технологии * не ясно что с MTU * не ясно на какие бренды смотреть (свитчи и виртуальные роутеры) Покритикуйте конструктивно плз. Заранее спасибо! Если кто может помочь с детальным дизайном - пишите в личку. Договоримся. Эдуард Мельник _______________________________________________ uanog mailing list uanog@uanog.kiev.ua https://mailman.uanog.kiev.ua/mailman/listinfo/uanog

Eduard M

3:37 p.m.

On 04/11/2019 16:01, Vladimir Sharun wrote:

...

Привет,

Привет

...

Аренда L2 против Dark Fiber - с нюансами штука в 2019-м.

Планируется микс. Последняя миля может быть любой - GPON, DF, WIFI, 5G, DSL, COAX, etc В ядре международной сети DF (конкретно для этого проекта) - маловероятно. Стоимость зашкаливает. Поэтому L2 + несколько доверенных партнеров (риск овербукинга меньше). L3 только в крайнем случае. На уровне распределения DF возможен

...

Например в DF тебе не напихают чужой DDOS, DF (как и L2) подвержен потерям (но это легко детектируется и таких инцидентов меньше как правило). В DF потери - это выяснили точку и поправили (не всегда с первого раза, но как правило - да), а в L2 - это могут быть какие-то "сильно не вовремя" (см DDOS или "извините, у нас порвалось в Поджопинске и из-за овербукинга - страдайте"). Ну и double fault на L2 - это тоже не то чтобы невероятно, даже у Tier1.

Ну, например, будет L2 + L2 (альтернативный маршрут/альтернативный оператор) AMS-FF Есть лучше альтернативы? ;)

...

С виртуальными роутерами может быть похожая ситуация: сосед каким-то образом уложил ресурсы чего-то (наперед непредсказуемого) и попробуй еще угадай, почему у тебя глючит.

Я же не зря упомянул много красивых слов с самого начала ;) Запустить кластер чего-то - не проблема. Вопрос чего именно и что на этом кластере крутить ;) Подавляющее большинство NNI - в ДЦ любого масштаба. Свитч(и) + такой себе стандартный кластер в каждый ДЦ. Это для ядра. Можно даже свитчами обойтись (но какими?) в случае L2 услуг (EVPN/VXLAN для избавления от VLAN range overlap?). L3 всегда может быть проброшен куда-то к ближайшему роутеру. Почитал еще вот https://www.ripe.net/participate/forms/uploads/fobi_plugins/file/ripe-ncc-da... https://pc.nanog.org/static/published/meetings/NANOG72/1555/20180219_Steenbe... https://ripe68.ripe.net/presentations/170-ripe-68-evpn.pdf С ресурсами - хз. Я поэтому и спрашиваю, может, на 2020 год уже что-то суперское доступно на рынке (есть же уже виртуальные роутеры Cisco, Juniper, Mikrotik, etc). Виртуальные роутеры доступны на амазоне и azure.

...

Кстати ты забыл еще безглючность. Стойкость к отказам и безглючность - не одно и то же, бгггг. Причем вот этот самый L2 - это штука с глюками, да.

Вот это, кстати, в точку. Да, хочу безглючности ) И надежности

...

А еще в L2 легко поставить прослушку. В DF не то чтобы сложно тоже, но в L2 - вообще париться не надо. Т.е. если кто-то кого ловит через контроль endpoint'ов (даркнет деанон например) - это подарок.

Да, еще один важный момент. Супер. Внесу в требования шифрование между всеми компонентами на скорости среды. Дальше будет видно во что это выливается по стоимости.

...

popcorn.gif

/4 листопада 2019, 16:48:01, від "Eduard M" mailto:eduard@melnik.org.ua>:/

Добрый день!

Коллеги, 2019 год (облака, SDN, virtual edge, containers, software-centric networks и т.д.)...

Как бы вы строили ISP/NSP сеть в 2020 году с нуля?

* минимальное количество BER (Big Expensive Routers)

* отказоустойчивость

* корпоративный сектор

* международная сеть

* L2/L3 сервисы. В основном, L2 + VLAN range

* Inter-carrier connections & NNI

* 1/10/100G

* OAM и соотвествующие процессы

* максимальная автоматизация сети и услуг (наличие API как-минимум, самообслуживание для клиентов и автоконфигурация сервисов на основе их выбора и т.д.)

Пока картина складывается примерно такая:

* физические коммутаторы для PoPs (держат все интерконнекты)

* виртуальные роутеры в датацентрах (BGP с аплинками и клиентами) + NNI + virtual edge

* аренда L2 (если нет своей оптики)

* использование L3 (если нет L2)

* EVPN-VXLAN как основные технологии

* не ясно что с MTU

* не ясно на какие бренды смотреть (свитчи и виртуальные роутеры)

Покритикуйте конструктивно плз.

Заранее спасибо!

Если кто может помочь с детальным дизайном - пишите в личку. Договоримся.

Эдуард Мельник

_______________________________________________ uanog mailing list uanog@uanog.kiev.ua mailto:uanog@uanog.kiev.ua https://mailman.uanog.kiev.ua/mailman/listinfo/uanog

Volodymyr Litovka

4:27 p.m.

Для производительности Nx10/Nx100 - посмотрите на коммутаторы Mellanox. Они стоят недорого (в пересчет на гиг пропускной полосы), поддерживают до 512k routes (на full view не хватит, но если плюнуть на suboptimal и агрегировать - то норм) и имеют VXLAN/EVPN на борту. Они могут работать под двумя операционками - MLNX OS или Cumulus Linux и вполне юзабельны. Если не харит использовать нелицензионное - то MX5 с крякнутой лицензией (до MX80). Виртуальные раутеры имени Cisco/Juniper жручи по ресурсам и скорее подходят на роль сервисных нодов (включая BGP RR), чем транзитных узлов. С другой стороны, RR можно намного менее ресурсоёмко сделать на Bird, например - виртуалка на пару CPU + 4 гига памяти стоит не слишком дорого, а хватит её в режиме RR надолго. Шифрование на всех уровнях - это (а) само по себе упражнение и (б) с резкой потерей производительности. В оригинальном письме упоминалось 100G - так вот я не уверен, что получится именно шифровать на такой скорости. Тогда лучше делать шифрацию на границе между DF и транспортными провайдерами и строить между ними полносвязную IPSec коммутацию - тут или руцями все туннели провижинить, или, например, использовать Cisco DMVPN (Nx fullmesh где N - количество транспортных провайдеров). Смотря сколько денег в бюджете, можно использовать Cisco ISR4400 series в точках агрегации DF, а между ISR4400 - IPSec tunnels over L2 VPN. Если дешево и руки не устанут - то Mikrotik RB750Gr3 дает около 450Mbps (в обе стороны) AES-128 для пакетов размером 1400 байт и для устройства за $60 это охеренный результат. Для пакетов в два раза меньше производительность тоже ухудшится, но 100Mbps, как мне представляется, получится при любых раскладах. Если мало и нужно что-то посредине - Mikrotik CCR, но там когда-то были нюансы с IPSec offload, надо по форумам смотреть. On 04.11.2019 17:37, Eduard M wrote:

...

On 04/11/2019 16:01, Vladimir Sharun wrote:

...
Привет,

Привет

...
Аренда L2 против Dark Fiber - с нюансами штука в 2019-м.

Планируется микс. Последняя миля может быть любой - GPON, DF, WIFI, 5G, DSL, COAX, etc

В ядре международной сети DF (конкретно для этого проекта) - маловероятно. Стоимость зашкаливает.

Поэтому L2 + несколько доверенных партнеров (риск овербукинга меньше).

L3 только в крайнем случае.

На уровне распределения DF возможен

...
Например в DF тебе не напихают чужой DDOS, DF (как и L2) подвержен потерям (но это легко детектируется и таких инцидентов меньше как правило). В DF потери - это выяснили точку и поправили (не всегда с первого раза, но как правило - да), а в L2 - это могут быть какие-то "сильно не вовремя" (см DDOS или "извините, у нас порвалось в Поджопинске и из-за овербукинга - страдайте"). Ну и double fault на L2 - это тоже не то чтобы невероятно, даже у Tier1.

Ну, например, будет L2 + L2 (альтернативный маршрут/альтернативный оператор) AMS-FF

Есть лучше альтернативы? ;)

...
С виртуальными роутерами может быть похожая ситуация: сосед каким-то образом уложил ресурсы чего-то (наперед непредсказуемого) и попробуй еще угадай, почему у тебя глючит.

Я же не зря упомянул много красивых слов с самого начала ;)

Запустить кластер чего-то - не проблема. Вопрос чего именно и что на этом кластере крутить ;)

Подавляющее большинство NNI - в ДЦ любого масштаба. Свитч(и) + такой себе стандартный кластер в каждый ДЦ. Это для ядра.

Можно даже свитчами обойтись (но какими?) в случае L2 услуг (EVPN/VXLAN для избавления от VLAN range overlap?). L3 всегда может быть проброшен куда-то к ближайшему роутеру.

Почитал еще вот

https://www.ripe.net/participate/forms/uploads/fobi_plugins/file/ripe-ncc-da...

https://pc.nanog.org/static/published/meetings/NANOG72/1555/20180219_Steenbe...

https://ripe68.ripe.net/presentations/170-ripe-68-evpn.pdf

С ресурсами - хз. Я поэтому и спрашиваю, может, на 2020 год уже что-то суперское доступно на рынке (есть же уже виртуальные роутеры Cisco, Juniper, Mikrotik, etc). Виртуальные роутеры доступны на амазоне и azure.

...
Кстати ты забыл еще безглючность. Стойкость к отказам и безглючность - не одно и то же, бгггг. Причем вот этот самый L2 - это штука с глюками, да.

Вот это, кстати, в точку. Да, хочу безглючности )

И надежности

...
А еще в L2 легко поставить прослушку. В DF не то чтобы сложно тоже, но в L2 - вообще париться не надо. Т.е. если кто-то кого ловит через контроль endpoint'ов (даркнет деанон например) - это подарок.

Да, еще один важный момент. Супер.

Внесу в требования шифрование между всеми компонентами на скорости среды. Дальше будет видно во что это выливается по стоимости.

...
popcorn.gif

/4 листопада 2019, 16:48:01, від "Eduard M" mailto:eduard@melnik.org.ua>:/

Добрый день!

Коллеги, 2019 год (облака, SDN, virtual edge, containers, software-centric networks и т.д.)...

Как бы вы строили ISP/NSP сеть в 2020 году с нуля?

* минимальное количество BER (Big Expensive Routers)

* отказоустойчивость

* корпоративный сектор

* международная сеть

* L2/L3 сервисы. В основном, L2 + VLAN range

* Inter-carrier connections & NNI

* 1/10/100G

* OAM и соотвествующие процессы

* максимальная автоматизация сети и услуг (наличие API как-минимум, самообслуживание для клиентов и автоконфигурация сервисов на основе их выбора и т.д.)

Пока картина складывается примерно такая:

* физические коммутаторы для PoPs (держат все интерконнекты)

* виртуальные роутеры в датацентрах (BGP с аплинками и клиентами) + NNI + virtual edge

* аренда L2 (если нет своей оптики)

* использование L3 (если нет L2)

* EVPN-VXLAN как основные технологии

* не ясно что с MTU

* не ясно на какие бренды смотреть (свитчи и виртуальные роутеры)

Покритикуйте конструктивно плз.

Заранее спасибо!

Если кто может помочь с детальным дизайном - пишите в личку. Договоримся.

Эдуард Мельник

_______________________________________________ uanog mailing list uanog@uanog.kiev.ua mailto:uanog@uanog.kiev.ua https://mailman.uanog.kiev.ua/mailman/listinfo/uanog

_______________________________________________ uanog mailing list uanog@uanog.kiev.ua https://mailman.uanog.kiev.ua/mailman/listinfo/uanog

-- Volodymyr Litovka "Vision without Execution is Hallucination." -- Thomas Edison

Igor Sviridov

12 Nov 12 Nov

7:07 p.m.

hi, On Mon, Nov 04, 2019 at 06:27:53PM +0200, Volodymyr Litovka wrote:

...

Шифрование на всех уровнях - это (а) само по себе упражнение и (б) с резкой потерей производительности. В оригинальном письме упоминалось

MACsec работает практически без потери производительности, и настраивается с полпинка. Если нужно Nx10G, то я рекомендую Juniper EX4600; если таки 100G, то Arista 7050 etc. Мы тоже страдали с производительностью IPsec, но вот :) MACsec требует прозрачного L2, на dark fiber + CWDM конечно без проблем, а на чужом L2 бывают проблемы (необычные ethertypes должны пролазить). --igor

Vladimir Sharun

7:12 p.m.

New subject: ISP/NSP сеть с нуля в 2020

Привет, На Украину распространялось эмбарго на лицензии Macsec для EX - надо пробивать этот вопрос. 12 листопада 2019, 21:08:10, від "Igor Sviridov" : hi, On Mon, Nov 04, 2019 at 06:27:53PM +0200, Volodymyr Litovka wrote:

...

Шифрование на всех уровнях - это (а) само по себе упражнение и (б) с резкой потерей производительности. В оригинальном письме упоминалось

Igor Sviridov

13 Nov 13 Nov

11:19 p.m.

hi, On Tue, Nov 12, 2019 at 09:12:10PM +0200, Vladimir Sharun wrote:

...

На Украину распространялось эмбарго на лицензии Macsec для EX - надо пробивать этот вопрос.

Эмбарго есть только на "Crimea Region of Ukraine", хотя могут иногда валить в кучу из лени. Без лицензии там whitelist, который не менялся с ~2010: Without prior approval from the U.S. Department of Commerce, Bureau of Industry and Security ("BIS"), neither I nor the Company shall engage in any export or re-export of any Juniper Networks Encryption Items classified as "5A002 restricted" or "5D002 restricted" to any "government end-user" (as defined in Part 772 of the US Export Administration Regulations) of any country other than Canada, Austria, Australia, Belgium, Cyprus, Czech Republic, Denmark, Estonia, Finland, France, Germany, Greece, Hungary, Ireland, Italy, Japan, Latvia, Lithuania, Luxembourg, Malta, Netherlands, New Zealand, Norway, Poland, Portugal, Slovakia, Slovenia, Spain, Sweden, Switzerland and the United Kingdom. (Examples of "5D002 restricted" products include: JUNOS (domestic) software (including JUNOS (domestic) for J-Series); JUNOSe software; SDX application software. Examples of "5A002 restricted" products include: all E-series Products; M-, T- or J-Series products on which JUNOS (Domestic) software is loaded; and NS50, 204, 208, 500, 5200 or 5400; ISG2000. Contact Export_Compliance_Desk@juniper.net if you need further details on specific products or components.) Наверное слишком мало покупают и Juniper не хочет заниматься лицензиями :( --igor

...

12 листопада 2019, 21:08:10, від "Igor Sviridov" :

hi, On Mon, Nov 04, 2019 at 06:27:53PM +0200, Volodymyr Litovka wrote:

...
Шифрование на всех уровнях - это (а) само по себе упражнение и (б) с резкой потерей производительности. В оригинальном письме упоминалось

MACsec работает практически без потери производительности, и настраивается с полпинка. Если нужно Nx10G, то я рекомендую Juniper EX4600; если таки 100G, то Arista 7050 etc.

Мы тоже страдали с производительностью IPsec, но вот :)

MACsec требует прозрачного L2, на dark fiber + CWDM конечно без проблем, а на чужом L2 бывают проблемы (необычные ethertypes должны пролазить).

--igor

Max Tulyev

4 Nov 4 Nov

9:11 p.m.

Привет, для длинных и особенно международных линков применяются DWDM lambda. Это фактически выделенная тебе длина волны, с усилителями по дороге. Вот его и надо. 04.11.19 17:37, Eduard M пише:

...

On 04/11/2019 16:01, Vladimir Sharun wrote:

...
Привет,

Привет

...
Аренда L2 против Dark Fiber - с нюансами штука в 2019-м.

Планируется микс. Последняя миля может быть любой - GPON, DF, WIFI, 5G, DSL, COAX, etc

В ядре международной сети DF (конкретно для этого проекта) - маловероятно. Стоимость зашкаливает.

Поэтому L2 + несколько доверенных партнеров (риск овербукинга меньше).

L3 только в крайнем случае.

На уровне распределения DF возможен

...
Например в DF тебе не напихают чужой DDOS, DF (как и L2) подвержен потерям (но это легко детектируется и таких инцидентов меньше как правило). В DF потери - это выяснили точку и поправили (не всегда с первого раза, но как правило - да), а в L2 - это могут быть какие-то "сильно не вовремя" (см DDOS или "извините, у нас порвалось в Поджопинске и из-за овербукинга - страдайте"). Ну и double fault на L2 - это тоже не то чтобы невероятно, даже у Tier1.

Ну, например, будет L2 + L2 (альтернативный маршрут/альтернативный оператор) AMS-FF

Есть лучше альтернативы? ;)

...
С виртуальными роутерами может быть похожая ситуация: сосед каким-то образом уложил ресурсы чего-то (наперед непредсказуемого) и попробуй еще угадай, почему у тебя глючит.

Я же не зря упомянул много красивых слов с самого начала ;)

Запустить кластер чего-то - не проблема. Вопрос чего именно и что на этом кластере крутить ;)

Подавляющее большинство NNI - в ДЦ любого масштаба. Свитч(и) + такой себе стандартный кластер в каждый ДЦ. Это для ядра.

Можно даже свитчами обойтись (но какими?) в случае L2 услуг (EVPN/VXLAN для избавления от VLAN range overlap?). L3 всегда может быть проброшен куда-то к ближайшему роутеру.

Почитал еще вот

https://www.ripe.net/participate/forms/uploads/fobi_plugins/file/ripe-ncc-da...

https://pc.nanog.org/static/published/meetings/NANOG72/1555/20180219_Steenbe...

https://ripe68.ripe.net/presentations/170-ripe-68-evpn.pdf

С ресурсами - хз. Я поэтому и спрашиваю, может, на 2020 год уже что-то суперское доступно на рынке (есть же уже виртуальные роутеры Cisco, Juniper, Mikrotik, etc). Виртуальные роутеры доступны на амазоне и azure.

...
Кстати ты забыл еще безглючность. Стойкость к отказам и безглючность - не одно и то же, бгггг. Причем вот этот самый L2 - это штука с глюками, да.

Вот это, кстати, в точку. Да, хочу безглючности )

И надежности

...
А еще в L2 легко поставить прослушку. В DF не то чтобы сложно тоже, но в L2 - вообще париться не надо. Т.е. если кто-то кого ловит через контроль endpoint'ов (даркнет деанон например) - это подарок.

Да, еще один важный момент. Супер.

Внесу в требования шифрование между всеми компонентами на скорости среды. Дальше будет видно во что это выливается по стоимости.

...
popcorn.gif

/4 листопада 2019, 16:48:01, від "Eduard M" mailto:eduard@melnik.org.ua>:/

Добрый день!

Коллеги, 2019 год (облака, SDN, virtual edge, containers, software-centric networks и т.д.)...

Как бы вы строили ISP/NSP сеть в 2020 году с нуля?

* минимальное количество BER (Big Expensive Routers)

* отказоустойчивость

* корпоративный сектор

* международная сеть

* L2/L3 сервисы. В основном, L2 + VLAN range

* Inter-carrier connections & NNI

* 1/10/100G

* OAM и соотвествующие процессы

* максимальная автоматизация сети и услуг (наличие API как-минимум, самообслуживание для клиентов и автоконфигурация сервисов на основе их выбора и т.д.)

Пока картина складывается примерно такая:

* физические коммутаторы для PoPs (держат все интерконнекты)

* виртуальные роутеры в датацентрах (BGP с аплинками и клиентами) + NNI + virtual edge

* аренда L2 (если нет своей оптики)

* использование L3 (если нет L2)

* EVPN-VXLAN как основные технологии

* не ясно что с MTU

* не ясно на какие бренды смотреть (свитчи и виртуальные роутеры)

Покритикуйте конструктивно плз.

Заранее спасибо!

Если кто может помочь с детальным дизайном - пишите в личку. Договоримся.

Эдуард Мельник

_______________________________________________ uanog mailing list uanog@uanog.kiev.ua mailto:uanog@uanog.kiev.ua https://mailman.uanog.kiev.ua/mailman/listinfo/uanog

_______________________________________________ uanog mailing list uanog@uanog.kiev.ua https://mailman.uanog.kiev.ua/mailman/listinfo/uanog

Eduard M

5 Nov 5 Nov

8:19 a.m.

Привет С этим понятно. Спасибо! Ядро. Как и на чем строить. VXLAN вроде ок как технология. Mellanox - железо. Каким софтом управлять? Есть готовое или сразу ориентироваться на разработку ? Следующий вопрос на чем (и как) крутить bgp часть. Плюс, SDN хотят. Mellanox умеет. Какой контроллер выбрать и чем руководствоваться? Т.е., софт будет и на чем это нынче имеет смысл крутить? Контейнеры в моде (докер?), виртуалки (вмварь? проксмокс?). На чем же лучше построить кластер и управлять этими кластерами. Ну и вопрос безглючности актуален очень сильно. На старте персонала почти нет. Пока больше вопросов чем ответов :) Sent from my iPhone

...

On 4 Nov 2019, at 22:07, Max Tulyev wrote:

Привет,

для длинных и особенно международных линков применяются DWDM lambda. Это фактически выделенная тебе длина волны, с усилителями по дороге. Вот его и надо.

04.11.19 17:37, Eduard M пише:

...
...
On 04/11/2019 16:01, Vladimir Sharun wrote: Привет, Привет

Аренда L2 против Dark Fiber - с нюансами штука в 2019-м. Планируется микс. Последняя миля может быть любой - GPON, DF, WIFI, 5G, DSL, COAX, etc В ядре международной сети DF (конкретно для этого проекта) - маловероятно. Стоимость зашкаливает. Поэтому L2 + несколько доверенных партнеров (риск овербукинга меньше). L3 только в крайнем случае. На уровне распределения DF возможен

Например в DF тебе не напихают чужой DDOS, DF (как и L2) подвержен потерям (но это легко детектируется и таких инцидентов меньше как правило). В DF потери - это выяснили точку и поправили (не всегда с первого раза, но как правило - да), а в L2 - это могут быть какие-то "сильно не вовремя" (см DDOS или "извините, у нас порвалось в Поджопинске и из-за овербукинга - страдайте"). Ну и double fault на L2 - это тоже не то чтобы невероятно, даже у Tier1.

Ну, например, будет L2 + L2 (альтернативный маршрут/альтернативный оператор) AMS-FF Есть лучше альтернативы? ;)

...
С виртуальными роутерами может быть похожая ситуация: сосед каким-то образом уложил ресурсы чего-то (наперед непредсказуемого) и попробуй еще угадай, почему у тебя глючит. Я же не зря упомянул много красивых слов с самого начала ;) Запустить кластер чего-то - не проблема. Вопрос чего именно и что на этом кластере крутить ;) Подавляющее большинство NNI - в ДЦ любого масштаба. Свитч(и) + такой себе стандартный кластер в каждый ДЦ. Это для ядра. Можно даже свитчами обойтись (но какими?) в случае L2 услуг (EVPN/VXLAN для избавления от VLAN range overlap?). L3 всегда может быть проброшен куда-то к ближайшему роутеру. Почитал еще вот https://www.ripe.net/participate/forms/uploads/fobi_plugins/file/ripe-ncc-da... https://pc.nanog.org/static/published/meetings/NANOG72/1555/20180219_Steenbe... https://ripe68.ripe.net/presentations/170-ripe-68-evpn.pdf С ресурсами - хз. Я поэтому и спрашиваю, может, на 2020 год уже что-то суперское доступно на рынке (есть же уже виртуальные роутеры Cisco, Juniper, Mikrotik, etc). Виртуальные роутеры доступны на амазоне и azure.

Кстати ты забыл еще безглючность. Стойкость к отказам и безглючность - не одно и то же, бгггг. Причем вот этот самый L2 - это штука с глюками, да.

Вот это, кстати, в точку. Да, хочу безглючности ) И надежности

...
А еще в L2 легко поставить прослушку. В DF не то чтобы сложно тоже, но в L2 - вообще париться не надо. Т.е. если кто-то кого ловит через контроль endpoint'ов (даркнет деанон например) - это подарок. Да, еще один важный момент. Супер. Внесу в требования шифрование между всеми компонентами на скорости среды. Дальше будет видно во что это выливается по стоимости.

popcorn.gif

/4 листопада 2019, 16:48:01, від "Eduard M" mailto:eduard@melnik.org.ua>:/

Добрый день!

Коллеги, 2019 год (облака, SDN, virtual edge, containers, software-centric networks и т.д.)...

Как бы вы строили ISP/NSP сеть в 2020 году с нуля?

* минимальное количество BER (Big Expensive Routers)

* отказоустойчивость

* корпоративный сектор

* международная сеть

* L2/L3 сервисы. В основном, L2 + VLAN range

* Inter-carrier connections & NNI

* 1/10/100G

* OAM и соотвествующие процессы

* максимальная автоматизация сети и услуг (наличие API как-минимум, самообслуживание для клиентов и автоконфигурация сервисов на основе их выбора и т.д.)

Пока картина складывается примерно такая:

* физические коммутаторы для PoPs (держат все интерконнекты)

* виртуальные роутеры в датацентрах (BGP с аплинками и клиентами) + NNI + virtual edge

* аренда L2 (если нет своей оптики)

* использование L3 (если нет L2)

* EVPN-VXLAN как основные технологии

* не ясно что с MTU

* не ясно на какие бренды смотреть (свитчи и виртуальные роутеры)

Покритикуйте конструктивно плз.

Заранее спасибо!

Если кто может помочь с детальным дизайном - пишите в личку. Договоримся.

Эдуард Мельник

_______________________________________________ uanog mailing list uanog@uanog.kiev.ua mailto:uanog@uanog.kiev.ua https://mailman.uanog.kiev.ua/mailman/listinfo/uanog

_______________________________________________ uanog mailing list uanog@uanog.kiev.ua https://mailman.uanog.kiev.ua/mailman/listinfo/uanog

uanog mailing list uanog@uanog.kiev.ua https://mailman.uanog.kiev.ua/mailman/listinfo/uanog

Volodymyr Litovka

8:22 a.m.

On 05.11.2019 10:19, Eduard M wrote:

...

Плюс, SDN хотят.

Утро перестаёт быть томным :-D А чем мотивируют желание-то? -- Volodymyr Litovka "Vision without Execution is Hallucination." -- Thomas Edison

Eduard M

11:19 p.m.

On 05/11/2019 09:22, Volodymyr Litovka wrote:

...

On 05.11.2019 10:19, Eduard M wrote:

...
Плюс, SDN хотят.

Утро перестаёт быть томным :-D

А чем мотивируют желание-то?

наличием тренда. Больше вводных данных нет ;) Я вот почитал и нарыл следующее https://www.opendaylight.org/use-cases-and-users/by-function и https://onosproject.org/use-cases/ разбираюсь )

...

-- Volodymyr Litovka "Vision without Execution is Hallucination." -- Thomas Edison

Volodymyr Litovka

25 Nov 25 Nov

10:10 a.m.

Я бы сказал так: наихудшим мотивом для внедрения новой технологии является следование тренду. В данном конкретном случае, чтобы реально начать что-то делать в этом направлении, фразу "нам _нужен_ SDN" (заметьте - не "хотят") надо повторить минимум четыре раза с интервалом в пол-года, потому что для этого головняка надо иметь какое-то железобетонное обоснование :) On 06.11.2019 01:19, Eduard M wrote:

...

On 05/11/2019 09:22, Volodymyr Litovka wrote:

...
On 05.11.2019 10:19, Eduard M wrote:

...
Плюс, SDN хотят.

Утро перестаёт быть томным :-D

А чем мотивируют желание-то?

наличием тренда. Больше вводных данных нет ;)

Я вот почитал и нарыл следующее

https://www.opendaylight.org/use-cases-and-users/by-function

и

https://onosproject.org/use-cases/

разбираюсь )

...
-- Volodymyr Litovka "Vision without Execution is Hallucination." -- Thomas Edison

_______________________________________________ uanog mailing list uanog@uanog.kiev.ua https://mailman.uanog.kiev.ua/mailman/listinfo/uanog

-- Volodymyr Litovka "Vision without Execution is Hallucination." -- Thomas Edison

Eduard M

9:12 p.m.

Добрый вечер Полностью согласен. Поговорил с инвесторами. В итоге, у меня получается подитожить следующим образом: * от SDN взять только (для моего случая) штуки типа vCPE (крутить максимально близко к точке подключения) и другие (по-необходимости) NFV + доступ для управления сервисами (для клиента) * технологии: MPLS+VPLS, EVPN-VXLAN, SPB(PBB). Что-то забыл ? Если бу железо - скорее всего MPLS+VPLS. Если новое - скорее всего SPB. Решаем * немного автоматизации Спасибо! Эдуард On 25/11/2019 11:10, Volodymyr Litovka wrote:

...

Я бы сказал так: наихудшим мотивом для внедрения новой технологии является следование тренду.

В данном конкретном случае, чтобы реально начать что-то делать в этом направлении, фразу "нам _нужен_ SDN" (заметьте - не "хотят") надо повторить минимум четыре раза с интервалом в пол-года, потому что для этого головняка надо иметь какое-то железобетонное обоснование :)

On 06.11.2019 01:19, Eduard M wrote:

...
On 05/11/2019 09:22, Volodymyr Litovka wrote:

...
On 05.11.2019 10:19, Eduard M wrote:

...
Плюс, SDN хотят.

Утро перестаёт быть томным :-D

А чем мотивируют желание-то?

наличием тренда. Больше вводных данных нет ;)

Я вот почитал и нарыл следующее

https://www.opendaylight.org/use-cases-and-users/by-function

и

https://onosproject.org/use-cases/

разбираюсь )

...
-- Volodymyr Litovka "Vision without Execution is Hallucination." -- Thomas Edison

_______________________________________________ uanog mailing list uanog@uanog.kiev.ua https://mailman.uanog.kiev.ua/mailman/listinfo/uanog

-- Volodymyr Litovka "Vision without Execution is Hallucination." -- Thomas Edison

Volodymyr Litovka

26 Nov 26 Nov

8:17 a.m.

Вот кейс про NfV :-) https://blogs.cisco.com/sp/enabling-rakuten-cloud-platform-with-cisco-nfvi-a... On 25.11.2019 23:12, Eduard M wrote:

...

Добрый вечер

Полностью согласен. Поговорил с инвесторами.

В итоге, у меня получается подитожить следующим образом:

* от SDN взять только (для моего случая) штуки типа vCPE (крутить максимально близко к точке подключения) и другие (по-необходимости) NFV + доступ для управления сервисами (для клиента)

* технологии: MPLS+VPLS, EVPN-VXLAN, SPB(PBB). Что-то забыл ? Если бу железо - скорее всего MPLS+VPLS. Если новое - скорее всего SPB. Решаем

* немного автоматизации

Спасибо!

Эдуард

On 25/11/2019 11:10, Volodymyr Litovka wrote:

...
Я бы сказал так: наихудшим мотивом для внедрения новой технологии является следование тренду.

В данном конкретном случае, чтобы реально начать что-то делать в этом направлении, фразу "нам _нужен_ SDN" (заметьте - не "хотят") надо повторить минимум четыре раза с интервалом в пол-года, потому что для этого головняка надо иметь какое-то железобетонное обоснование :)

On 06.11.2019 01:19, Eduard M wrote:

...
On 05/11/2019 09:22, Volodymyr Litovka wrote:

...
On 05.11.2019 10:19, Eduard M wrote:

...
Плюс, SDN хотят.

Утро перестаёт быть томным :-D

А чем мотивируют желание-то?

наличием тренда. Больше вводных данных нет ;)

Я вот почитал и нарыл следующее

https://www.opendaylight.org/use-cases-and-users/by-function

и

https://onosproject.org/use-cases/

разбираюсь )

...
-- Volodymyr Litovka "Vision without Execution is Hallucination." -- Thomas Edison

_______________________________________________ uanog mailing list uanog@uanog.kiev.ua https://mailman.uanog.kiev.ua/mailman/listinfo/uanog

-- Volodymyr Litovka "Vision without Execution is Hallucination." -- Thomas Edison

uanog mailing list uanog@uanog.kiev.ua https://mailman.uanog.kiev.ua/mailman/listinfo/uanog

-- Volodymyr Litovka "Vision without Execution is Hallucination." -- Thomas Edison

Maksym Tuyluk

4 Nov 4 Nov

7:46 p.m.

А "EVPN-VXLAN как основные технологии” уже была протестирована? - звучит красиво, но я вижу много подводных камней Максим

...

On 4 Nov 2019, at 15:47, Eduard M wrote:

Добрый день!

Коллеги, 2019 год (облака, SDN, virtual edge, containers, software-centric networks и т.д.)...

Как бы вы строили ISP/NSP сеть в 2020 году с нуля?

* минимальное количество BER (Big Expensive Routers)

* отказоустойчивость

* корпоративный сектор

* международная сеть

* L2/L3 сервисы. В основном, L2 + VLAN range

* Inter-carrier connections & NNI

* 1/10/100G

* OAM и соотвествующие процессы

* максимальная автоматизация сети и услуг (наличие API как-минимум, самообслуживание для клиентов и автоконфигурация сервисов на основе их выбора и т.д.)

Пока картина складывается примерно такая:

* физические коммутаторы для PoPs (держат все интерконнекты)

* виртуальные роутеры в датацентрах (BGP с аплинками и клиентами) + NNI + virtual edge

* аренда L2 (если нет своей оптики)

* использование L3 (если нет L2)

* EVPN-VXLAN как основные технологии

* не ясно что с MTU

* не ясно на какие бренды смотреть (свитчи и виртуальные роутеры)

Покритикуйте конструктивно плз.

Заранее спасибо!

Если кто может помочь с детальным дизайном - пишите в личку. Договоримся.

Эдуард Мельник

_______________________________________________ uanog mailing list uanog@uanog.kiev.ua https://mailman.uanog.kiev.ua/mailman/listinfo/uanog

Eduard M

7:54 p.m.

Добрый вечер Нет. Фаза тестирования будет позже на основе первичного отсеивания С другой стороны, есть же успешные внедрения (ссылки ранее). Так а какие "подводные камни"? Можно, плз, подробнее? Эдуард On 04/11/2019 20:46, Maksym Tuyluk wrote:

...

А "EVPN-VXLAN как основные технологии” уже была протестирована? - звучит красиво, но я вижу много подводных камней

Максим

...
On 4 Nov 2019, at 15:47, Eduard M wrote:

Добрый день!

Коллеги, 2019 год (облака, SDN, virtual edge, containers, software-centric networks и т.д.)...

Как бы вы строили ISP/NSP сеть в 2020 году с нуля?

* минимальное количество BER (Big Expensive Routers)

* отказоустойчивость

* корпоративный сектор

* международная сеть

* L2/L3 сервисы. В основном, L2 + VLAN range

* Inter-carrier connections & NNI

* 1/10/100G

* OAM и соотвествующие процессы

* максимальная автоматизация сети и услуг (наличие API как-минимум, самообслуживание для клиентов и автоконфигурация сервисов на основе их выбора и т.д.)

Пока картина складывается примерно такая:

* физические коммутаторы для PoPs (держат все интерконнекты)

* виртуальные роутеры в датацентрах (BGP с аплинками и клиентами) + NNI + virtual edge

* аренда L2 (если нет своей оптики)

* использование L3 (если нет L2)

* EVPN-VXLAN как основные технологии

* не ясно что с MTU

* не ясно на какие бренды смотреть (свитчи и виртуальные роутеры)

Покритикуйте конструктивно плз.

Заранее спасибо!

Если кто может помочь с детальным дизайном - пишите в личку. Договоримся.

Эдуард Мельник

_______________________________________________ uanog mailing list uanog@uanog.kiev.ua https://mailman.uanog.kiev.ua/mailman/listinfo/uanog

uanog mailing list uanog@uanog.kiev.ua https://mailman.uanog.kiev.ua/mailman/listinfo/uanog

Maksym Tulyuk

6 Nov 6 Nov

8:34 p.m.

Вендоры ориентируют VXLAN+EVPN на DC (data centre) environment. т.е. получится что твоя WAN сеть будет имитировать или один большой “DC” на всю страну/континент, или несколько региональных DC и интерконнектами между ними. Соответственно, все подводные камни будут от попыток построить WAN сеть используя LAN технологии. Максим

...

On 4 Nov 2019, at 20:54, Eduard M wrote:

Добрый вечер

Нет. Фаза тестирования будет позже на основе первичного отсеивания

С другой стороны, есть же успешные внедрения (ссылки ранее).

Так а какие "подводные камни"? Можно, плз, подробнее?

Эдуард

On 04/11/2019 20:46, Maksym Tuyluk wrote:

...
А "EVPN-VXLAN как основные технологии” уже была протестирована? - звучит красиво, но я вижу много подводных камней

Максим

...
On 4 Nov 2019, at 15:47, Eduard M wrote:

Добрый день!

Коллеги, 2019 год (облака, SDN, virtual edge, containers, software-centric networks и т.д.)...

Как бы вы строили ISP/NSP сеть в 2020 году с нуля?

* минимальное количество BER (Big Expensive Routers)

* отказоустойчивость

* корпоративный сектор

* международная сеть

* L2/L3 сервисы. В основном, L2 + VLAN range

* Inter-carrier connections & NNI

* 1/10/100G

* OAM и соотвествующие процессы

* максимальная автоматизация сети и услуг (наличие API как-минимум, самообслуживание для клиентов и автоконфигурация сервисов на основе их выбора и т.д.)

Пока картина складывается примерно такая:

* физические коммутаторы для PoPs (держат все интерконнекты)

* виртуальные роутеры в датацентрах (BGP с аплинками и клиентами) + NNI + virtual edge

* аренда L2 (если нет своей оптики)

* использование L3 (если нет L2)

* EVPN-VXLAN как основные технологии

* не ясно что с MTU

* не ясно на какие бренды смотреть (свитчи и виртуальные роутеры)

Покритикуйте конструктивно плз.

Заранее спасибо!

Если кто может помочь с детальным дизайном - пишите в личку. Договоримся.

Эдуард Мельник

_______________________________________________ uanog mailing list uanog@uanog.kiev.ua https://mailman.uanog.kiev.ua/mailman/listinfo/uanog

uanog mailing list uanog@uanog.kiev.ua https://mailman.uanog.kiev.ua/mailman/listinfo/uanog

uanog mailing list uanog@uanog.kiev.ua https://mailman.uanog.kiev.ua/mailman/listinfo/uanog

Eduard M

10:49 p.m.

Ну у меня все узлы будут в дц Топология - звезда. Пару тройку дц в центре звезды Трафик в 98% - только из/в центр с одного/в один из лучей. Луч может быть с резервом (естественно, приходит в дц, как указано выше). Получается, в основе для меня будет простая L3 сеть и поверх evpn+vxlan. Предсказуемая сеть. Ограничения? Количество маков? Вроде и не сильно оно применимо. По 10-20к маков почти все железки кушают. Плохая сходимость? Вроде, все приемлемо и опирается на bgp. Конфигурация только руками, скрипты? Ну, думаю, это можно автоматизировать Играться с использованием полосы на разных каналах не требуется. Проще построить еще рядом +1/10g И объединить Фрагментация? Вроде на всех межлународных линках можно получить поддержку jumbo фреймов Что-то еще? :) Тут еще сегодня предложили SPB Sent from my iPhone

...

On 6 Nov 2019, at 21:34, Maksym Tulyuk wrote:

Вендоры ориентируют VXLAN+EVPN на DC (data centre) environment. т.е. получится что твоя WAN сеть будет имитировать или один большой “DC” на всю страну/континент, или несколько региональных DC и интерконнектами между ними.

Соответственно, все подводные камни будут от попыток построить WAN сеть используя LAN технологии.

Максим

...
On 4 Nov 2019, at 20:54, Eduard M wrote:

Добрый вечер

Нет. Фаза тестирования будет позже на основе первичного отсеивания

С другой стороны, есть же успешные внедрения (ссылки ранее).

Так а какие "подводные камни"? Можно, плз, подробнее?

Эдуард

...
On 04/11/2019 20:46, Maksym Tuyluk wrote: А "EVPN-VXLAN как основные технологии” уже была протестирована? - звучит красиво, но я вижу много подводных камней

Максим

...
On 4 Nov 2019, at 15:47, Eduard M wrote:

Добрый день!

Коллеги, 2019 год (облака, SDN, virtual edge, containers, software-centric networks и т.д.)...

Как бы вы строили ISP/NSP сеть в 2020 году с нуля?

* минимальное количество BER (Big Expensive Routers)

* отказоустойчивость

* корпоративный сектор

* международная сеть

* L2/L3 сервисы. В основном, L2 + VLAN range

* Inter-carrier connections & NNI

* 1/10/100G

* OAM и соотвествующие процессы

* максимальная автоматизация сети и услуг (наличие API как-минимум, самообслуживание для клиентов и автоконфигурация сервисов на основе их выбора и т.д.)

Пока картина складывается примерно такая:

* физические коммутаторы для PoPs (держат все интерконнекты)

* виртуальные роутеры в датацентрах (BGP с аплинками и клиентами) + NNI + virtual edge

* аренда L2 (если нет своей оптики)

* использование L3 (если нет L2)

* EVPN-VXLAN как основные технологии

* не ясно что с MTU

* не ясно на какие бренды смотреть (свитчи и виртуальные роутеры)

Покритикуйте конструктивно плз.

Заранее спасибо!

Если кто может помочь с детальным дизайном - пишите в личку. Договоримся.

Эдуард Мельник

_______________________________________________ uanog mailing list uanog@uanog.kiev.ua https://mailman.uanog.kiev.ua/mailman/listinfo/uanog

uanog mailing list uanog@uanog.kiev.ua https://mailman.uanog.kiev.ua/mailman/listinfo/uanog

uanog mailing list uanog@uanog.kiev.ua https://mailman.uanog.kiev.ua/mailman/listinfo/uanog

_______________________________________________ uanog mailing list uanog@uanog.kiev.ua https://mailman.uanog.kiev.ua/mailman/listinfo/uanog

Maksym Tulyuk

11 Nov 11 Nov

4:23 p.m.

Т.е. идея в том, чтобы делать всю L3 терминацию в одном-двух датацентрах в одном и том же городе. Правильно? Максим

...

On 6 Nov 2019, at 23:49, Eduard M wrote:

Ну у меня все узлы будут в дц Топология - звезда. Пару тройку дц в центре звезды Трафик в 98% - только из/в центр с одного/в один из лучей. Луч может быть с резервом (естественно, приходит в дц, как указано выше).

Получается, в основе для меня будет простая L3 сеть и поверх evpn+vxlan. Предсказуемая сеть.

Ограничения? Количество маков? Вроде и не сильно оно применимо. По 10-20к маков почти все железки кушают. Плохая сходимость? Вроде, все приемлемо и опирается на bgp. Конфигурация только руками, скрипты? Ну, думаю, это можно автоматизировать Играться с использованием полосы на разных каналах не требуется. Проще построить еще рядом +1/10g И объединить Фрагментация? Вроде на всех межлународных линках можно получить поддержку jumbo фреймов

Что-то еще? :)

Тут еще сегодня предложили SPB

Sent from my iPhone

...
On 6 Nov 2019, at 21:34, Maksym Tulyuk wrote:

Вендоры ориентируют VXLAN+EVPN на DC (data centre) environment. т.е. получится что твоя WAN сеть будет имитировать или один большой “DC” на всю страну/континент, или несколько региональных DC и интерконнектами между ними.

Соответственно, все подводные камни будут от попыток построить WAN сеть используя LAN технологии.

Максим

...
On 4 Nov 2019, at 20:54, Eduard M wrote:

Добрый вечер

Нет. Фаза тестирования будет позже на основе первичного отсеивания

С другой стороны, есть же успешные внедрения (ссылки ранее).

Так а какие "подводные камни"? Можно, плз, подробнее?

Эдуард

...
On 04/11/2019 20:46, Maksym Tuyluk wrote: А "EVPN-VXLAN как основные технологии” уже была протестирована? - звучит красиво, но я вижу много подводных камней

Максим

...
On 4 Nov 2019, at 15:47, Eduard M wrote:

Добрый день!

Коллеги, 2019 год (облака, SDN, virtual edge, containers, software-centric networks и т.д.)...

Как бы вы строили ISP/NSP сеть в 2020 году с нуля?

* минимальное количество BER (Big Expensive Routers)

* отказоустойчивость

* корпоративный сектор

* международная сеть

* L2/L3 сервисы. В основном, L2 + VLAN range

* Inter-carrier connections & NNI

* 1/10/100G

* OAM и соотвествующие процессы

* максимальная автоматизация сети и услуг (наличие API как-минимум, самообслуживание для клиентов и автоконфигурация сервисов на основе их выбора и т.д.)

Пока картина складывается примерно такая:

* физические коммутаторы для PoPs (держат все интерконнекты)

* виртуальные роутеры в датацентрах (BGP с аплинками и клиентами) + NNI + virtual edge

* аренда L2 (если нет своей оптики)

* использование L3 (если нет L2)

* EVPN-VXLAN как основные технологии

* не ясно что с MTU

* не ясно на какие бренды смотреть (свитчи и виртуальные роутеры)

Покритикуйте конструктивно плз.

Заранее спасибо!

Если кто может помочь с детальным дизайном - пишите в личку. Договоримся.

Эдуард Мельник

_______________________________________________ uanog mailing list uanog@uanog.kiev.ua https://mailman.uanog.kiev.ua/mailman/listinfo/uanog

uanog mailing list uanog@uanog.kiev.ua https://mailman.uanog.kiev.ua/mailman/listinfo/uanog

uanog mailing list uanog@uanog.kiev.ua https://mailman.uanog.kiev.ua/mailman/listinfo/uanog

_______________________________________________ uanog mailing list uanog@uanog.kiev.ua https://mailman.uanog.kiev.ua/mailman/listinfo/uanog

uanog mailing list uanog@uanog.kiev.ua https://mailman.uanog.kiev.ua/mailman/listinfo/uanog

Eduard M

25 Nov 25 Nov

9:33 p.m.

идея получить сеть * хорошее масштабирование * простота управления * простота добавления новых узлов * отказоустойчивость и надежность * поддержка L2VPN (подавляющее большинство клиентов), L3VPN * интернет доступ * минимальное количество физических устройств (например, маршрутизаторов). Но, убедили минимизировать использование виртуальных маршрутизаторов для критически важных узлов. Да, в ДЦ. Это будет касаться всех сервисов (интернет, L2VPN, L3VPN). SPB от Extreme понравилось. Остальное - BGP на нескольких пограничных устройтвах (тут можно и на виртуальных крутить). Остальные функции (по-необходимости) - виртуальные устройства Автоматизация - пока ничего не нашел. Скорее, скрипты Эдуард On 11/11/2019 17:23, Maksym Tulyuk wrote:

...

Т.е. идея в том, чтобы делать всю L3 терминацию в одном-двух датацентрах в одном и том же городе. Правильно?

Максим

...
On 6 Nov 2019, at 23:49, Eduard M wrote:

Ну у меня все узлы будут в дц Топология - звезда. Пару тройку дц в центре звезды Трафик в 98% - только из/в центр с одного/в один из лучей. Луч может быть с резервом (естественно, приходит в дц, как указано выше).

Получается, в основе для меня будет простая L3 сеть и поверх evpn+vxlan. Предсказуемая сеть.

Ограничения? Количество маков? Вроде и не сильно оно применимо. По 10-20к маков почти все железки кушают. Плохая сходимость? Вроде, все приемлемо и опирается на bgp. Конфигурация только руками, скрипты? Ну, думаю, это можно автоматизировать Играться с использованием полосы на разных каналах не требуется. Проще построить еще рядом +1/10g И объединить Фрагментация? Вроде на всех межлународных линках можно получить поддержку jumbo фреймов

Что-то еще? :)

Тут еще сегодня предложили SPB

Sent from my iPhone

...
On 6 Nov 2019, at 21:34, Maksym Tulyuk wrote:

Вендоры ориентируют VXLAN+EVPN на DC (data centre) environment. т.е. получится что твоя WAN сеть будет имитировать или один большой “DC” на всю страну/континент, или несколько региональных DC и интерконнектами между ними.

Соответственно, все подводные камни будут от попыток построить WAN сеть используя LAN технологии.

Максим

...
On 4 Nov 2019, at 20:54, Eduard M wrote:

Добрый вечер

Нет. Фаза тестирования будет позже на основе первичного отсеивания

С другой стороны, есть же успешные внедрения (ссылки ранее).

Так а какие "подводные камни"? Можно, плз, подробнее?

Эдуард

...
On 04/11/2019 20:46, Maksym Tuyluk wrote: А "EVPN-VXLAN как основные технологии” уже была протестирована? - звучит красиво, но я вижу много подводных камней

Максим

...
On 4 Nov 2019, at 15:47, Eduard M wrote:

Добрый день!

Коллеги, 2019 год (облака, SDN, virtual edge, containers, software-centric networks и т.д.)...

Как бы вы строили ISP/NSP сеть в 2020 году с нуля?

* минимальное количество BER (Big Expensive Routers)

* отказоустойчивость

* корпоративный сектор

* международная сеть

* L2/L3 сервисы. В основном, L2 + VLAN range

* Inter-carrier connections & NNI

* 1/10/100G

* OAM и соотвествующие процессы

* максимальная автоматизация сети и услуг (наличие API как-минимум, самообслуживание для клиентов и автоконфигурация сервисов на основе их выбора и т.д.)

Пока картина складывается примерно такая:

* физические коммутаторы для PoPs (держат все интерконнекты)

* виртуальные роутеры в датацентрах (BGP с аплинками и клиентами) + NNI + virtual edge

* аренда L2 (если нет своей оптики)

* использование L3 (если нет L2)

* EVPN-VXLAN как основные технологии

* не ясно что с MTU

* не ясно на какие бренды смотреть (свитчи и виртуальные роутеры)

Покритикуйте конструктивно плз.

Заранее спасибо!

Если кто может помочь с детальным дизайном - пишите в личку. Договоримся.

Эдуард Мельник

_______________________________________________ uanog mailing list uanog@uanog.kiev.ua https://mailman.uanog.kiev.ua/mailman/listinfo/uanog

uanog mailing list uanog@uanog.kiev.ua https://mailman.uanog.kiev.ua/mailman/listinfo/uanog

uanog mailing list uanog@uanog.kiev.ua https://mailman.uanog.kiev.ua/mailman/listinfo/uanog

uanog mailing list uanog@uanog.kiev.ua https://mailman.uanog.kiev.ua/mailman/listinfo/uanog

uanog mailing list uanog@uanog.kiev.ua https://mailman.uanog.kiev.ua/mailman/listinfo/uanog

uanog mailing list uanog@uanog.kiev.ua https://mailman.uanog.kiev.ua/mailman/listinfo/uanog

Volodymyr O. Pidgornyi

26 Nov 26 Nov

3:14 p.m.

У экстрима есть RESTful API, у джуна - NETCONF. Готовые NMS-ы обычно под это заточены.

...

Автоматизация - пока ничего не нашел. Скорее, скрипты

_______________________________________________ uanog mailing list uanog@uanog.kiev.ua https://mailman.uanog.kiev.ua/mailman/listinfo/uanog

1759

Age (days ago)

1781

Last active (days ago)

List overview

Download

20 comments

8 participants

participants (8)

Eduard M
Igor Sviridov
Maksym Tulyuk
Maksym Tuyluk
Max Tulyev
Vladimir Sharun
Volodymyr Litovka
Volodymyr O. Pidgornyi

ISP/NSP сеть с нуля в 2020

tags

participants (8)