Hello Vladimir Litovka! Wed, May 30, 2007 at 09:22:03AM +0300, doka.ua wrote about "[uanog] 7600/6500 architecture":

Коллеги,

тут - http://vugluskr.mml.org.ua/pubCiscoDocs/6500-arch.pdf находится документация по архитектуре устройств Cisco 6500/7600.

Ой, а у меня какой-то другой вариант такой презентации, только там 132 слайда, а не 52 :) CU! -- //ShaD0w =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message

On 30.05.2007 10:22 Vladimir Litovka wrote:

2) новые шасси (7606-S, 7609-S) суть 65xx-E. Шасси 7604 - это сразу было 6504-E, просто у него отсутствует буковка "-S"

Главное отличие -S от остальных - это возможность быстрого failover'а, когда там два супервизора.

3) в документе отсутствует информация по картам SIP-200/400/600 и по картам ES20. Если коротко - это более умные, чем WS-X6xxx карты, которые более широко поддерживают QoS (например, CBWFQ, H-QoS, MQC CLI) и сервисы, например:

- VPLS реализуется на SIP-400/600 и ES20 - broadband aggregation (функционал ISG) реализуется комбинированно на SIP-400 и RSP720

Уже реализуется или все только планы?

Понимаю, что документ большой, но для желающих порассуждать на тему, чем 7600 хуже зикселя ES3124 - самое оно :)

Чем хуже, чем хуже. Лепестричества жрет больше ;) -- dg =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message

On 30.05.2007 11:45 Vladimir Litovka wrote:

On 5/30/07, Daniel Ginsburg wrote:

...

...

- VPLS реализуется на SIP-400/600 и ES20 - broadband aggregation (функционал ISG) реализуется комбинированно на SIP-400 и RSP720

Уже реализуется или все только планы?

VPLS уже реализуется, включая VPLS auto discovery

Это-то понятно. Вопрос был про брас.

ISG - реализовано частично, в следующем релизе (осень 2007) будет полностью реализовано, выведено из hidden команд и документировано :)

SRC, SRD? Сколько он прожует в смысле сессий? На ES'ках брас будет делаться или только на SIP-400? До меня тут доползали неподтвежденные слухи про ES-40 и брас на нем. Можешь откомментировать? Можно уклончиво :) -- dg =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message

On 5/30/07, Daniel Ginsburg wrote:

...

ISG - реализовано частично, в следующем релизе (осень 2007) будет полностью реализовано, выведено из hidden команд и документировано :)

SRC, SRD?

что означают эти аббревиатуры? :)

Сколько он прожует в смысле сессий?

до 64K per chassis

На ES'ках брас будет делаться или только на SIP-400?

только SIP-400

До меня тут доползали неподтвежденные слухи про ES-40 и брас на нем. Можешь откомментировать? Можно уклончиво :)

до меня даже такие слухи не доползали :) -- /doka Vision without Execution is Hallucination. -- Thomas Edison. =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message

On Wed, May 30, 2007 at 09:22:03AM +0300, Vladimir Litovka wrote:

Коллеги,

тут - http://vugluskr.mml.org.ua/pubCiscoDocs/6500-arch.pdf находится документация по архитектуре устройств Cisco 6500/7600.

Документация образца 2003'его года, я правильно понимаю ? Вот тут: http://ot-e.biz/RST-3465.pdf лежит прошлогодняя презенташка с networkers по той же тематике.. (и отдельное спасибо товарищу dbg за его весьма познавательный ЖЖ).

3) в документе отсутствует информация по картам SIP-200/400/600 и по картам ES20. Если коротко - это более умные, чем WS-X6xxx карты, которые более широко поддерживают QoS (например, CBWFQ, H-QoS, MQC CLI) и сервисы, например:

- VPLS реализуется на SIP-400/600 и ES20 - broadband aggregation (функционал ISG) реализуется комбинированно на SIP-400 и RSP720

64k users per chassis... Опять попытка догнать и перегнать juniper, в данном случае - e-series. =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message

On Wed, May 30, 2007 at 09:50:36AM +0300, Vladimir Litovka wrote:

Для 7600 всегда будет IOS, а вот следующие маршрутизаторы (выход - осень 2007) будут уже с другим софтом - модульным.

AFAIK из модульного от Cisco есть XR и варинт IOS-а с memory protection между процессами. Последний даже вроде бы есть для 6500, но без MPLS-а. Так эти самые "следующие маршрутизаторы" будут с каким софтом из выше перечисленного?

On 5/30/07, Volodymyr Yakovenko wrote:

...

Дядя Вова,

А софт вменяемый (не IOS) для 7600 когда будет?

On Wed, May 30, 2007 at 09:22:03AM +0300, Vladimir Litovka wrote:

...

Коллеги,

тут - http://vugluskr.mml.org.ua/pubCiscoDocs/6500-arch.pdf находится документация по архитектуре устройств Cisco 6500/7600.

Несколько замечаний -

1) следующий после Sup720 сейчас процессор RSP720 - с увеличенной производительностью MSFC, исправленными аппаратными ошибками и увеличенным объемом памяти

2) новые шасси (7606-S, 7609-S) суть 65xx-E. Шасси 7604 - это сразу было 6504-E, просто у него отсутствует буковка "-S"

3) в документе отсутствует информация по картам SIP-200/400/600 и по картам ES20. Если коротко - это более умные, чем WS-X6xxx карты, которые более широко поддерживают QoS (например, CBWFQ, H-QoS, MQC CLI) и сервисы, например:

- VPLS реализуется на SIP-400/600 и ES20 - broadband aggregation (функционал ISG) реализуется комбинированно на SIP-400 и RSP720

Понимаю, что документ большой, но для желающих порассуждать на тему, чем 7600 хуже зикселя ES3124 - самое оно :)

Любые вопросы принимаются только по факту прочтения данного документа :)

Спасибо.

-- /doka

Vision without Execution is Hallucination. -- Thomas Edison.

=================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message

-- Regards, Volodymyr.

-- /doka

Vision without Execution is Hallucination. -- Thomas Edison.

=================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message

-- Regards, Volodymyr. =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message

On 30.05.2007 22:21 Volodymyr Yakovenko wrote:

On Wed, May 30, 2007 at 11:42:17AM +0400, Daniel Ginsburg wrote:

...

On 30.05.2007 10:22 Vladimir Litovka wrote:

...

2) новые шасси (7606-S, 7609-S) суть 65xx-E. Шасси 7604 - это сразу было 6504-E, просто у него отсутствует буковка "-S"

Главное отличие -S от остальных - это возможность быстрого failover'а, когда там два супервизора.

Насколько быстрого?

Говорят, около 100ms. Что-то там в старых шасси у них не срасталось с быстрой синхронизацией фабрики.

И что при failover-е происходит с внутренним состоянияем ISIS/RSVP/BGP процессов?

Как что? Graceful restart, будь он неладен. При этом состояние forwarding plane типа сохраняется, но ящик все равно замирает на некоторое время - примерно на 100ms с -S шасси и примерно на 800-900ms с обычными. -- dg =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message

On Wed, May 30, 2007 at 10:37:37PM +0400, Daniel Ginsburg wrote:

On 30.05.2007 22:21 Volodymyr Yakovenko wrote:

...

On Wed, May 30, 2007 at 11:42:17AM +0400, Daniel Ginsburg wrote:

...

On 30.05.2007 10:22 Vladimir Litovka wrote:

...

2) новые шасси (7606-S, 7609-S) суть 65xx-E. Шасси 7604 - это сразу было 6504-E, просто у него отсутствует буковка "-S"

Главное отличие -S от остальных - это возможность быстрого failover'а, когда там два супервизора.

Насколько быстрого?

Говорят, около 100ms. Что-то там в старых шасси у них не срасталось с быстрой синхронизацией фабрики.

Говорят или ктото реально в lab-е тестировал?

...

И что при failover-е происходит с внутренним состоянияем ISIS/RSVP/BGP процессов?

Как что? Graceful restart, будь он неладен. При этом состояние forwarding plane типа сохраняется, но ящик все равно замирает на некоторое время - примерно на 100ms с -S шасси и примерно на 800-900ms с обычными.

Мнее, так внутрення репликация структур данных между, например, BGP процессами есть или нет? Если нет - я бы хотел посмотреть как за 100ms можно вдуть restarting router-у всю таблицу. И из той же оперы - а что будет если скажем IGP у нас ISIS и как раз во время restart-а случился topology change? -- Regards, Volodymyr. =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message

Добрый день! On Thu, May 31, 2007 at 10:50:27AM +0400, Daniel Ginsburg wrote:

...

...

Говорят, около 100ms. Что-то там в старых шасси у них не срасталось с быстрой синхронизацией фабрики.

Говорят или ктото реально в lab-е тестировал?

Циска говорит. Ко мне S шасси только приедут. Тогда и я поиграюсь. Про 800-900ms на не-S тестировал сам.

Можно конфиг для эксперемента в приват? попробую на своих -S -- Dmitry Kiselev =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message

On Thu, May 31, 2007 at 01:55:12AM +0300, Vladimir Litovka wrote:

On 5/30/07, Volodymyr Yakovenko wrote:

...

AFAIK из модульного от Cisco есть XR и варинт IOS-а с memory protection между процессами. Последний даже вроде бы есть для 6500, но без MPLS-а.

Так эти самые "следующие маршрутизаторы" будут с каким софтом из выше перечисленного?

тебя интересует, будет-ли это BSD, Linux, QNX или что-то свое? Я не знаю ответа на этот вопрос. А скажи мне - с точки зрения конечного результата это имеет значение?

Для меня - да. На этапе routing platform evaluation копается очень глубоко. -- Regards, Volodymyr. =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message

On Thu, May 31, 2007 at 10:50:27AM +0400, Daniel Ginsburg wrote: [..skipped..]

...

...

...

И что при failover-е происходит с внутренним состоянияем ISIS/RSVP/BGP процессов?

Как что? Graceful restart, будь он неладен. При этом состояние forwarding plane типа сохраняется, но ящик все равно замирает на некоторое время - примерно на 100ms с -S шасси и примерно на 800-900ms с обычными.

Мнее, так внутрення репликация структур данных между, например, BGP процессами есть или нет?

Нет. Control plane состояние на супервизорах разное. Одинаковое forwarding plane состояние. Ну и на DFC forwarding plane состояние тоже типа выживает.

В принципе, именно для BGP есть так называемый nonstop routing (не путать с nonstop forwarding). Там да, полное состояние BGP сохраняется, включая состояние TCP-сессий. Но это не на 7600.

Это есть на не-7600 только для BGP?

...

Если нет - я бы хотел посмотреть как за 100ms можно вдуть restarting router-у всю таблицу.

Не, ты не понимаешь. Когда один супервизор помирает, подхватывает второй с готовым forwarding plane состоянием, но без правильного control plane состояния. И продолжает форвардить трафик. На этот подхват ему требуется 800-900ms или 100ms на новых шасси. Тем временем он устанавливает adjacency заново, соседи ему заливают всякий ISIS, BGP, LDP и прочие радости жизни, которые он должен знать. Т.е. полное восстановление происходит не за 100ms, а значительно дольше. За 100ms восстанавливается форвардинг по возможно протухшим таблицам.

:-)

Книжка есть, "Fault-Tolerant IP and MPLS Networks" называется. Она практически вся как раз про это несчастье.

Если интерестны подробности двухнедельного теста GR/GRES на JunOS 8.2 обращайтесь приватом.

...

И из той же оперы - а что будет если скажем IGP у нас ISIS и как раз во время restart-а случился topology change?

Ну что, он на этот topology change не прореагирует. Пока. Когда adjacency восстановятся, тогда он пересчитает SPF и трафик поедет как надо. Собственно, по этой и нескольким другим причинам весь этот SSO/NSF - штука весьма сомнительная.

Вот это вот "пока пересчитает" в зависимости от топологии, протоколов и прочего может быть 30sec и более. Если сильно неповезет все это время можно получить blackhole/routing loop. В нормальной сети вероятность поймать такую ситуацию (topology change + graceful restart) невелика, но она есть.

Вообще, у нас опыт с SSO/NSF на 7600 довольно паршивый. Я твердо убежден, что два ящика с нерезервированными супервизороми строго лучше одного ящика с двумя супервизорами. Но есть случаи когда да, два ящика нельзя.

Мне нравится, как это сделано у алкателя. Вот у них оба SF/CPM работают с полной синхронизацией состояния. И для failover'а им не надо никаких глупостей типа graceful restart.

А какая максимальная емкость по 10G портам у Alcatel-я который это умеет?

Сам пока не проверял, но у меня тут валяется отчетец о тестировании 7450, которое делал BT Exact. У них получилось 0.94us (это не опечатка: us, а не ms) на software induced switchover, т.е. по команде "admin redundancy force-switchover now". И 12.2ms на hardware induced switchover, т.е. по выдергиванию активного SF/CPM из шасси. По-моему, это отличный результат.

Можно на него глянуть?

-- dg

-- Regards, Volodymyr. =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message

On 01.06.2007 10:17 Volodymyr Yakovenko wrote:

> On Thu, May 31, 2007 at 10:50:27AM +0400, Daniel Ginsburg wrote:
[..skipped..]

>> В принципе, именно для BGP есть так называемый nonstop routing (не
>> путать с nonstop forwarding). Там да, полное состояние BGP сохраняется,
>> включая состояние TCP-сессий. Но это не на 7600.
> 
> Это есть на не-7600 только для BGP?
> 

Угу. Только десятитонник и только BGP. Планирует ли циска это
распространить на другие платформы и протоколы, надо спрашивать у циски.

[..skipped..]

>>> И из той же оперы - а что будет если скажем IGP у нас ISIS и как раз во
>>> время restart-а случился topology change?
>> Ну что, он на этот topology change не прореагирует. Пока. Когда
>> adjacency восстановятся, тогда он пересчитает SPF и трафик поедет как
>> надо. Собственно, по этой и нескольким другим причинам весь этот SSO/NSF
>> - штука весьма сомнительная.
> 
> Вот это вот "пока пересчитает" в зависимости от топологии, протоколов и
> прочего может быть 30sec и более. Если сильно неповезет все это время
> можно получить blackhole/routing loop. В нормальной сети вероятность поймать
> такую ситуацию (topology change + graceful restart) невелика, но она есть.
> 

Абсолютно согласен. Да и само по себе предположение о том, что состояние
forwarding plane нормально пережило аварию, кажется мне несколько
оптимистичным - никто не знает, что там на самом деле падающий
супервизор напрограммировал в наши DFC, особенно, если он упал по
софтверной ошибке. А у второго супа нет никаких возможностей
проверить/поправить forwarding state, пока протоколы не рестартуют.

[..skipped..]

>> Сам пока не проверял, но у меня тут валяется отчетец о тестировании
>> 7450, которое делал BT Exact. У них получилось 0.94us (это не опечатка:
>> us, а не ms) на software induced switchover, т.е. по команде "admin
>> redundancy force-switchover now". И 12.2ms на hardware induced
>> switchover, т.е. по выдергиванию активного SF/CPM из шасси. По-моему,
>> это отличный результат.
> 
> Можно на него глянуть?
> 

Вроде бы, всяких там конфиденциальных грифов на отчете нет, поэтому,
думаю, что никто на меня сильно не обидится, если я его выложу вот тут:
http://ot-e.biz/7450_ESS-7_Test_Report_BTExact.pdf


-- 
dg
===================================================================
uanog mailing list.
To Unsubscribe: send mail to majordomo@uanog.kiev.ua
with "unsubscribe uanog" in the body of the message