Добрый день.
Нужна помощь в создании отказоустойчивой конфигурации.
Есть AS, два провайдера. Есть также две cisco 3900 серий. Поднят BGP. На внутреннем интерфейсе поднят HSRP для того, чтобы шлюз по-умолчанию для внутренних хостов не менялся.
Сейчас при "падении" основной cisco получается, что один из каналов - не рабочий. Можно ли сделать так, чтобы при "падении" одной из cisco (или при перезагрузки) канал "переезжал" на резервную. А вот если "упал" канал, то срабатывал бы BGP и использовался бы резервный канал... :(
> ... Можно ли сделать так, чтобы при "падении" одной из cisco
> (или при перезагрузки) канал "переезжал" на резервную. А вот если "упал"
> канал, то срабатывал бы BGP и использовался бы резервный канал... :(Да, можно.
Чаще договариваются с аплинк-провайдерами и делают по две bgp-сессии с каждым.А иначе опять hsrp и прочие костыли.
>> ... Можно ли сделать так, чтобы при "падении" одной из cisco
>> (или при перезагрузки) канал "переезжал" на резервную. А вот если "упал"
>> канал, то срабатывал бы BGP и использовался бы резервный канал... :(
> Да, можно.
> Чаще договариваются с аплинк-провайдерами и делают по две bgp-сессии с каждым.
> А иначе опять hsrp и прочие костыли.Подерживаю - /29 на линк с провайдером и 2 сессии с каждой циски.
Ну или пытаться с ip sla огород городить...
Т.е., принимая во внимание то, что HSRP - это костыль и на внешних интерфейсах делать его нет надобности, то оставляю по одной сиське на каждом провайдере...
Тогда вопрос следующего уровня. :)
Есть третья cisco! У которой есть два аплинка к провайдерам (она тоже в AS), однако, оба анонса в состоянии shutdown. Хочется, чтобы трафик шёл через ту cisco, которая в настоящий момент активна. Но чего-то не получается. :( не работает neighbor A.B.C.D next-hop-self. Скорее всего чего-то я не доделал. При попытке получить табличку маршрутизации:
Активная cisco:
dlg-router01#show ip bgp
BGP table version is 7, local router ID is 193.LLL.BBB.251
Status codes: s suppressed, d damped, h history, * valid, > best, i - internal,
r RIB-failure, S Stale, m multipath, b backup-path, f RT-Filter,
x best-external, a additional-path, c RIB-compressed,
Origin codes: i - IGP, e - EGP, ? - incomplete
RPKI validation codes: V valid, I invalid, N Not foundNetwork Next Hop Metric LocPrf Weight Path
*> 0.0.0.0 217.FF.RRR.1 3000 28775 i
*> 193.LLL.BBB.0 0.0.0.0 0 32768 i
dlg-router01#show ip route
Codes: L - local, C - connected, S - static, R - RIP, M - mobile, B - BGP
D - EIGRP, EX - EIGRP external, O - OSPF, IA - OSPF inter area
N1 - OSPF NSSA external type 1, N2 - OSPF NSSA external type 2
E1 - OSPF external type 1, E2 - OSPF external type 2
i - IS-IS, su - IS-IS summary, L1 - IS-IS level-1, L2 - IS-IS level-2
ia - IS-IS inter area, * - candidate default, U - per-user static route
o - ODR, P - periodic downloaded static route, H - NHRP, l - LISP
+ - replicated route, % - next hop overrideGateway of last resort is 217.FF.RRR.1 to network 0.0.0.0
B* 0.0.0.0/0 [20/0] via 217.FF.RRR.1, 7w0d
10.0.0.0/8 is variably subnetted, 5 subnets, 3 masks
S 10.XXX.0.0/16 [1/0] via 10.XXX.YY.250
C 10.XXX.YY.0/24 is directly connected, Vlan85
L 10.XXX.YY.245/32 is directly connected, Vlan85
S 10.NNN.0.0/24 [1/0] via 10.XXX.YY.250
S 10.MMM.0.0/16 [1/0] via 10.XXX.YY.250
193.LLL.BBB.0/24 is variably subnetted, 2 subnets, 2 masks
C 193.LL.BBB.0/24 is directly connected, GigabitEthernet0/0
L 193.LL.BBB.251/32 is directly connected, GigabitEthernet0/0
217.FF.RRR.0/24 is variably subnetted, 2 subnets, 2 masks
C 217.FF.RRR.0/30 is directly connected, GigabitEthernet0/1
L 217.FF.RRR.2/32 is directly connected, GigabitEthernet0/1А вот на проблемной:
gw#sh ip bgp
BGP table version is 68, local router ID is 193.LLL.BBB.254
Status codes: s suppressed, d damped, h history, * valid, > best, i - internal,
r RIB-failure, S Stale, m multipath, b backup-path, f RT-Filter,
x best-external, a additional-path, c RIB-compressed,
Origin codes: i - IGP, e - EGP, ? - incomplete
RPKI validation codes: V valid, I invalid, N Not foundNetwork Next Hop Metric LocPrf Weight Path
* i 0.0.0.0 217.FF.RRR.1 0 100 0 28775 i
r>i 193.LLL.BBB.0 193.LLL.BBB.251 0 100 0 i
gw#sho ip route
Codes: L - local, C - connected, S - static, R - RIP, M - mobile, B - BGP
D - EIGRP, EX - EIGRP external, O - OSPF, IA - OSPF inter area
N1 - OSPF NSSA external type 1, N2 - OSPF NSSA external type 2
E1 - OSPF external type 1, E2 - OSPF external type 2
i - IS-IS, su - IS-IS summary, L1 - IS-IS level-1, L2 - IS-IS level-2
ia - IS-IS inter area, * - candidate default, U - per-user static route
o - ODR, P - periodic downloaded static route, H - NHRP, l - LISP
+ - replicated route, % - next hop overrideGateway of last resort is not set
89.0.0.0/8 is variably subnetted, 2 subnets, 2 masks
C 89.MMM.KKK.8/30 is directly connected, GigabitEthernet0/1
L 89.MMM.KKK.10/32 is directly connected, GigabitEthernet0/1
193.LLL.BBB.0/24 is variably subnetted, 2 subnets, 2 masks
C 193.LLL.BBB.0/24 is directly connected, GigabitEthernet0/0
L 193.LLL.BBB.254/32 is directly connected, GigabitEthernet0/0
>[оверквотинг удален]
> C 89.MMM.KKK.8/30 is directly connected,
> GigabitEthernet0/1
> L 89.MMM.KKK.10/32 is directly connected,
> GigabitEthernet0/1
> 193.LLL.BBB.0/24 is variably subnetted, 2 subnets,
> 2 masks
> C 193.LLL.BBB.0/24 is directly connected,
> GigabitEthernet0/0
> L 193.LLL.BBB.254/32 is directly connected,
> GigabitEthernet0/0"Нам бы схемку аль чертеж..."
(Филатов "Про Федота стрельца...")
Схемка тут: https://yadi.sk/i/ETUKjUNQfeNaC
Разобрался. Переставил next-hop-self на ту cisco? которая активна в данный момент и всё заработало. :(
И всё-таки, какие варианты используете для того, чтобы внутренние хосты "правильно" попадали в интернеты? :)
> Разобрался. Переставил next-hop-self на ту cisco? которая активна в данный момент и
> всё заработало. :(
> И всё-таки, какие варианты используете для того, чтобы внутренние хосты "правильно" попадали
> в интернеты? :)Добавить аплинковые интерфейсные подсетки в IGP (т.е. во внутреннюю сетку.)
> Добавить аплинковые интерфейсные подсетки в IGP (т.е. во внутреннюю сетку.)А со стороны серверов как это будет выглядеть и какой протокол надо на серверах включать тогда?
>> Добавить аплинковые интерфейсные подсетки в IGP (т.е. во внутреннюю сетку.)
> А со стороны серверов как это будет выглядеть и какой протокол надо
> на серверах включать тогда?У вас next-hop-self - значит скорее всего iBGP, вот на кого вы этот ibgp строите? если на сервера - то или на них статику, или какую-нить динамику типа rip/ospf/is-is....
Вы с теорией по ibgp знакомы или нет?
C теорией знакомлюсь в пожарном режиме. :(
Я хочу дизайна. Т.е. бест практикс по построению такой системы. Чувствую, что одна cisco
и два канала по BGP - это хорошо, но при каких-либо проблемах с самой cisco всё отваливается (оба канала). Хорошо. На каждый канал вешаем свою cisco... Но тогда на внутренних серверах надо что-то сделать, чтобы они "правильно ходили в интернеты". Или поднимать HSRP-интерфейс на внутренних ногах цисок. А правильно ли поднимать HSRP в этом случае? Может тогда проще RIP внутри поднять?
> Я хочу дизайна. Т.е. бест практикс по построению такой системы... ... Может
> тогда проще RIP внутри поднять?Масштаб вашей сети уже достаточный для того чтобы дизайн сделать более бест-практикс.
А именно, сервера и прочее внутри, терминировать не на бордере, а на каких-то внутренних роутерах, которые включите в общую ibgp-топологию(поверх ospf желательно).
Если хотите оставить hsrp, то только на внутренних-роутерах.
> А именно, сервера и прочее внутри, терминировать не на бордере, а на
> каких-то внутренних роутерах, которые включите в общую ibgp-топологию(поверх ospf желательно).
> Если хотите оставить hsrp, то только на внутренних-роутерах.В том-то и проблема, что внутри - 4-5 хостов только. Несколько серверов и файервол в виде кластера (обеспечивает выход остальных серверов и юзеров). И тут - разрыв шаблона. :( Хочу обеспечить максимальную отказоустойчивость "интернетов". Не хочется приезжать по любому поводу в офис и ковырять конфиги. И так дел по горло. :(
> В том-то и проблема, что внутри - 4-5 хостов только. Несколько серверов
> и файервол в виде кластера (обеспечивает выход остальных серверов и юзеров).
> И тут - разрыв шаблона. :( Хочу обеспечить максимальную отказоустойчивость "интернетов".
> Не хочется приезжать по любому поводу в офис и ковырять конфиги.
> И так дел по горло. :(В части отказоустойчивости, по-любому останется единая точка отказа. Например, свич-внутренний через который проключен сервер. Сильно улучшить то, что у вас уже есть - нельзя. (чуть выиграете в отказоустойчивости - проиграете от сложности).
Статистически чаще ломаться будут аплинки,
потом всякие внутренние и внешние пакетные аномалии (флуды, инфекции, петли в лан, и т.д.),
и в последнюю очередь аппаратные отказы цисок.Чтобы реже приезжать в офис, надо настроить себе доступ внутрь, через все дыры.
Через все аплинки, при любой комбинации поломок и их и цисок. Это очень несложно.
Серверы к свичам подключены через несколько сетевых карт. Ну и виртуализация используется. Засада в том, что некоторые свичи в стеке. Это да... А вот ядро L3 собрали на двух cisco 4500 x с VSS-ом. В сеть проваливаюсь через "боковой" микротик. :)
> Серверы к свичам подключены через несколько сетевых карт. Ну и виртуализация используется.
> Засада в том, что некоторые свичи в стеке. Это да... А
> вот ядро L3 собрали на двух cisco 4500 x с VSS-ом.
> В сеть проваливаюсь через "боковой" микротик. :)Достаточно. Тогда можно оставить как есть, и bgp, и hsrp внутри. Главное чтоб была адекватная настройка всего.
Выглядит как тяжелое историческое наследие от работы интеграторов.
> Выглядит как тяжелое историческое наследие от работы интеграторов.:( Я в основной массе "интегратор" и "дизайнер" :(
> C теорией знакомлюсь в пожарном режиме. :(
> Я хочу дизайна. Т.е. бест практикс по построению такой системы. Чувствую, что
> одна cisco
> и два канала по BGP - это хорошо, но при каких-либо проблемах
> с самой cisco всё отваливается (оба канала). Хорошо. На каждый канал
> вешаем свою cisco... Но тогда на внутренних серверах надо что-то сделать,
> чтобы они "правильно ходили в интернеты". Или поднимать HSRP-интерфейс на внутренних
> ногах цисок. А правильно ли поднимать HSRP в этом случае? Может
> тогда проще RIP внутри поднять?Ну самый правильный ходеж в интернеты с серверов - это фулвью прямо на сервера :)
А так - HSRP/GLBP/VRRP - резервирование defgateway или RIP/OSPF/IS-IS/BGP - если динамической маршрутизацией.
"Правильность" дизайна определяется вашими требованиями, хотя традиционно HSRP/GLBP/VRRP считается более "правильным".
> "Правильность" дизайна определяется вашими требованиями, хотя традиционно HSRP/GLBP/VRRP считается более "правильным".А как себя будет вести HSRP/GLBP/VRRP при внешнем BGP? Будет ли трафик ходить, ежели к примеру активный интернет-канал будет на одном маршрутизаторе, а активный VRRP-адрес - на другом. :( Своим умом не могу охватить столь сложную картину (пока)... По идее всё должно работать, так как маршрут до шлюза в "интернеты" по BGP перестроится на всех маршрутизаторах, входящих в эту группу. Но экспериментировать на живой сети не хотца. :(
>> "Правильность" дизайна определяется вашими требованиями, хотя традиционно HSRP/GLBP/VRRP считается более "правильным".
> А как себя будет вести HSRP/GLBP/VRRP при внешнем BGP? Будет ли трафик
> ходить, ежели к примеру активный интернет-канал будет на одном маршрутизаторе, а
> активный VRRP-адрес - на другом. :( Своим умом не могу охватить
> столь сложную картину (пока)... По идее всё должно работать, так как
> маршрут до шлюза в "интернеты" по BGP перестроится на всех маршрутизаторах,
> входящих в эту группу. Но экспериментировать на живой сети не хотца.
> :(Обеспечте связность вашей сети ВНЕ ЗАВИСМОСТИ от BGP, а уже потом BGP внедряйте,HSRP/GLBP/VRRP вообще "до лампады" есть ли у вас BGP и где оно жевет.
Все-таки полистайте теорию и 3-х уровневую модель....
>> А как себя будет вести HSRP/GLBP/VRRP при внешнем BGP? Будет ли трафик
>> ходить, ежели к примеру активный интернет-канал будет на одном маршрутизаторе, а
>> активный VRRP-адрес - на другом. ... По идее всё должно работать, так как
>> маршрут до шлюза в "интернеты" по BGP перестроится на всех маршрутизаторах,
>> входящих в эту группу. Но экспериментировать на живой сети не хотца.
>
> Обеспечте связность вашей сети ВНЕ ЗАВИСМОСТИ от BGP, а уже потом BGP
> внедряйте,HSRP/GLBP/VRRP вообще "до лампады" есть ли у вас BGP и где
> оно живет.Проверьте сначала bgp полностью. как там у вас с ebgp и ibgp, где прописан ориджин вашего префикса, есть ли слабый линк до 3-его бордера, как дефолт от аплинков внутри распространяется и выбирается?
Т.е. не обращая внимание на любую трафико-несимметричность. чтоб всё работало, при любых отказах. Не должно быть никаких анансов в ручном состоянии shutdown.
Без оглядки на hsrp. Он может вообще отсутствовать, этим в большинстве случаев не заморачиваются.
Не видя конфиг, сложно сказать, будет ли bgp работать как надо в нынешнем состоянии.