URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID6
Нить номер: 10980
[ Назад ]
Исходное сообщение
"7206VXR %SYS-2-MALLOCFAIL"
Отправлено zaikini , 11-Июл-06 11:34 
Добрый день!

Имеется 7206VXR with NPE-G1, 256Mb.
Работал все было отлично, в один прекрасный день перестал пускать на vty, консоли не было под руками. Путем различных ухищрений была отключена нагрузка с него и маршрутизатор перегрузили. После перезагрузки в лог пишет:

Jul 11 07:13:35.407: %BGP-5-ADJCHANGE: neighbor X.X.X.X Up
Jul 11 07:13:52.015: %BGP-5-ADJCHANGE: neighbor Y.Y.Y.Y Up
Jul 11 07:14:09.263: %BGP-5-ADJCHANGE: neighbor Z.Z.Z.Z Up
Jul 11 07:14:13.951: %SYS-2-MALLOCFAIL: Memory allocation of 65536 bytes failed from 0x60874468, alignment 0
Pool: Processor  Free: 69908  Cause: Memory fragmentation
Alternate Pool: None  Free: 0  Cause: No Alternate pool
-Process= "BGP Router", ipl= 0, pid= 171 -Traceback= 0x606F4898 0x60851118 0x60859430 0x60874470 0x60B2EB04 0x60E082D4 0x60E08A70 0x60E098BC 0x628551A8 0x60E09984 0x60DE520C 0x60DE6218
Jul 11 07:14:14.071: %FIB-3-NOMEM: Malloc Failure, disabling CEF -Traceback= 0x606F4898 0x615CE9A0 0x615D5984 0x615DD820 0x615E44C8 0x60B5AA1C 0x60B2BA28 0x60B2BB0C
Jul 11 07:14:18.599: %BGP-5-ADJCHANGE: neighbor X.X.X.X Down No memory
Jul 11 07:14:18.599: %BGP-5-ADJCHANGE: neighbor Y.Y.Y.Y Down No memory
Jul 11 07:14:18.599: %BGP-5-ADJCHANGE: neighbor Z.Z.Z.Z Down No memory

Меняли ИОСы, не помогло. Роутер получает full bgp table от X.X.X.X по eBGP, также full bgp от Y.Y.Y.Y по iBGP, и еще один префикс от Z.Z.Z.Z от клиентского роутера.

Отключение например bgp с upstream и последующей перезагрузкой роутеру не помогает, ошибка продолжает вываливаться.
Вопрос к сообществу, что собственно можно испробывать еще?

Содержание
Сообщения в этом обсуждении
"7206VXR %SYS-2-MALLOCFAIL"
Отправлено ilya , 11-Июл-06 12:03 
а что с памятью смотрели?
sh proc mem ?
"7206VXR %SYS-2-MALLOCFAIL"
Отправлено zaikini , 11-Июл-06 12:20 
>а что с памятью смотрели?
>sh proc mem ?

Да, конечно

Сейчас оставили одного upstreama, остальные сессии отключили, перезагрузили, и все равно проблема возникает

sh proc memory | i BGP
  34   0       3612       3612       6972          6          6 BGP Open
122   0       3612       3612       6972          6          6 BGP Open
150   0       3612       3612       7004          6          6 BGP Open
159   0       3612       2408       8176          6          5 BGP Open
171   0   85516068     129880   82804016          4          4 BGP Router
173   0          0          0       6972       2600       2600 BGP I/O
174   0          0       6816       9972          0          0 BGP Scanner
175   0       3612       3612       6972          6          6 BGP Open
176   0       3612       3612       7004          6          6 BGP Open
177   0       3612       3612       6972          6          6 BGP Open
178   0       3612       3612       6972          6          6 BGP Open
179   0       3612       2408       8208          6          5 BGP Open
180   0       3612       2408       8176          6          5 BGP Open
181   0       3612       2408       8176          6          5 BGP Open
182   0       3612       3612       7004          6          6 BGP Open
183   0       3612       2408       8176          6          5 BGP Open
184   0       3612       3612       6972          6          6 BGP Open
185   0       3612       3612       6972          6          6 BGP Open
186   0       3612       3612       7004          6          6 BGP Open
187   0       3612       3612       6972          6          6 BGP Open
188   0       3612       3612       6972          6          6 BGP Open
189   0       3612       2408       8208          6          5 BGP Open
190   0       3612       3612       6972          6          6 BGP Open
191   0       3612       3612       6972          6          6 BGP Open
192   0       3612       2408       8208          6          5 BGP Open
193   0       3612       3612       6972          6          6 BGP Open
194   0       2408       2408       6972          4          4 BGP Open
195   0       3612       2408       8208          6          5 BGP Open
196   0       4816       4816       6972          4          4 BGP Open


sh memory
                Head    Total(b)     Used(b)     Free(b)   Lowest(b)  Largest(b)
Processor   64318C40   164524288   144217260    20307028       27636     2773332
      I/O    E000000    33554432     4087144    29467288    29467288    29467260

%SYS-2-MALLOCFAIL: Memory allocation of 65536 bytes failed from 0x60874468, alignment 0
Pool: Processor  Free: 36144  Cause: Not enough free memory
Alternate Pool: None  Free: 0  Cause: No Alternate pool
-Process= "BGP Router", ipl= 0, pid= 171 -Traceback= 0x606F4898 0x60851118 0x60859430 0x60874470 0x60B2B26C 0x60B2B500 0x60B2D288 0x60E082D4 0x60E08A70 0x60E098BC 0x628551A8 0x60E09984 0x60DE520C 0x60DE6218
Jul 11 08:16:33.924: %FIB-3-NOMEM: Malloc Failure, disabling CEF -Traceback= 0x606F4898 0x615CE9A0 0x615D5984 0x615DD820 0x615E44C8 0x60B5AA1C 0x60B2BA28 0x60B2BB0C
Jul 11 08:16:46.692: %FIB-3-NOMEM: Malloc Failure, disabling CEF -Traceback= 0x606F4898 0x615CEE18 0x615D4A94 0x615D5A88 0x615DD820 0x615E44C8 0x60B5AA1C 0x60B2BA28 0x60B2BB0C

"7206VXR %SYS-2-MALLOCFAIL"
Отправлено ilya , 11-Июл-06 12:46 
с сколько сейчас префиксов получаете?
"7206VXR %SYS-2-MALLOCFAIL"
Отправлено zaikini , 11-Июл-06 12:58 
>с сколько сейчас префиксов получаете?


sh ip bgp summary
BGP router identifier С.С.С.С, local AS number ВВВВ
BGP table version is 273799, main routing table version 273799
189168 network entries using 22132656 bytes of memory
189168 path entries using 9836736 bytes of memory
68412/34199 BGP path/bestpath attribute entries using 8483088 bytes of memory
31334 BGP AS-PATH entries using 844502 bytes of memory
0 BGP route-map cache entries using 0 bytes of memory
30112 BGP filter-list cache entries using 361344 bytes of memory
BGP using 41658326 total bytes of memory
BGP activity 189381/212 prefixes, 190108/940 paths, scan interval 60 secs

"7206VXR %SYS-2-MALLOCFAIL"
Отправлено ilya , 11-Июл-06 14:58 
>>с сколько сейчас префиксов получаете?
>
>
>sh ip bgp summary
>BGP router identifier С.С.С.С, local AS number ВВВВ
>BGP table version is 273799, main routing table version 273799
>189168 network entries using 22132656 bytes of memory
>189168 path entries using 9836736 bytes of memory
>68412/34199 BGP path/bestpath attribute entries using 8483088 bytes of memory
>31334 BGP AS-PATH entries using 844502 bytes of memory
>0 BGP route-map cache entries using 0 bytes of memory
>30112 BGP filter-list cache entries using 361344 bytes of memory
>BGP using 41658326 total bytes of memory
>BGP activity 189381/212 prefixes, 190108/940 paths, scan interval 60 secs


если верить циске, то на ваше кол-во префиксов нужно около 140мб РАМ (только для BGP).
попробуйте уменьшить размер IO до 16 мб, хотя в пике у вас было около 29мб...
что бы точно убедиться софт это или нет - добавьте памяти или попробуйте отфильровать часть префиксов
http://www.cisco.com/warp/public/459/41.shtml

"7206VXR %SYS-2-MALLOCFAIL"
Отправлено zaikini , 11-Июл-06 15:19 
>>>с сколько сейчас префиксов получаете?
>>
>>
>>sh ip bgp summary
>>BGP router identifier С.С.С.С, local AS number ВВВВ
>>BGP table version is 273799, main routing table version 273799
>>189168 network entries using 22132656 bytes of memory
>>189168 path entries using 9836736 bytes of memory
>>68412/34199 BGP path/bestpath attribute entries using 8483088 bytes of memory
>>31334 BGP AS-PATH entries using 844502 bytes of memory
>>0 BGP route-map cache entries using 0 bytes of memory
>>30112 BGP filter-list cache entries using 361344 bytes of memory
>>BGP using 41658326 total bytes of memory
>>BGP activity 189381/212 prefixes, 190108/940 paths, scan interval 60 secs
>
>
>если верить циске, то на ваше кол-во префиксов нужно около 140мб РАМ
>(только для BGP).
>попробуйте уменьшить размер IO до 16 мб, хотя в пике у вас
>было около 29мб...
>что бы точно убедиться софт это или нет - добавьте памяти или
>попробуйте отфильровать часть префиксов
>http://www.cisco.com/warp/public/459/41.shtml

Добавить память в настоящий момент не имеем возможности. Поставил фильтр, принимаю только дефлот от апстрима, все прошло нормально.

"7206VXR %SYS-2-MALLOCFAIL"
Отправлено ilya , 11-Июл-06 16:03 
>Добавить память в настоящий момент не имеем возможности.
неужели ноута нет под рукой какогонить? ;)
посмоторите - может в NPE подойдет, в 3745 точно подходила такая память....
"7206VXR %SYS-2-MALLOCFAIL"
Отправлено zaikini , 11-Июл-06 16:10 
>>Добавить память в настоящий момент не имеем возможности.
>неужели ноута нет под рукой какогонить? ;)
>посмоторите - может в NPE подойдет, в 3745 точно подходила такая память....
>

На другом узле стоит 7204 с 256Мб подключена к этому же апстриму, у нее все в порядке.
Сейчас попробывали поменять иос на c7200-js-mz.122-25.S10.bin
Результат тот же, за исключением того что изменился процесс:

%BGP-5-ADJCHANGE: neighbor с.с.с.с Up
Jul 11 11:52:45.422: %SYS-2-MALLOCFAIL: Memory allocation of 65536 bytes failed from 0x607CDF8C, alignment 16
Pool: Processor  Free: 34060  Cause: Not enough free memory
Alternate Pool: None  Free: 0  Cause: No Alternate pool

-Process= "IP RIB Update", ipl= 0, pid= 58
-Traceback= 607D3258 607D4418 607CDF94 6062116C 605F9D00 605FF8C0 60606710 6060CB34 60A273C0 609FED48 609FEE28
Jul 11 11:52:45.426: %FIB-3-NOMEM: Malloc Failure, disabling CEF
-Traceback= 605F9D4C 605FF8C0 60606710 6060CB34 60A273C0 609FED48 609FEE28
Jul 11 11:52:46.066: %BGP-5-ADJCHANGE: neighbor с.с.с.с Down No memory

"7206VXR %SYS-2-MALLOCFAIL"
Отправлено ilya , 11-Июл-06 16:41 
>>>Добавить память в настоящий момент не имеем возможности.
>>неужели ноута нет под рукой какогонить? ;)
>>посмоторите - может в NPE подойдет, в 3745 точно подходила такая память....
>>
>
>На другом узле стоит 7204 с 256Мб подключена к этому же апстриму,
>у нее все в порядке.
>Сейчас попробывали поменять иос на c7200-js-mz.122-25.S10.bin
>Результат тот же, за исключением того что изменился процесс:
>
>%BGP-5-ADJCHANGE: neighbor с.с.с.с Up
>Jul 11 11:52:45.422: %SYS-2-MALLOCFAIL: Memory allocation of 65536 bytes failed from 0x607CDF8C,
>alignment 16
>Pool: Processor  Free: 34060  Cause: Not enough free memory
>Alternate Pool: None  Free: 0  Cause: No Alternate pool
>
>-Process= "IP RIB Update", ipl= 0, pid= 58
>-Traceback= 607D3258 607D4418 607CDF94 6062116C 605F9D00 605FF8C0 60606710 6060CB34 60A273C0 609FED48 609FEE28
>
>Jul 11 11:52:45.426: %FIB-3-NOMEM: Malloc Failure, disabling CEF
>-Traceback= 605F9D4C 605FF8C0 60606710 6060CB34 60A273C0 609FED48 609FEE28
>Jul 11 11:52:46.066: %BGP-5-ADJCHANGE: neighbor с.с.с.с Down No memory


так я не понял. на 7204 с ИСОом c7200-js-mz.122-25.S10.bin  тоже проблемы начались?
а с предыдущим ИОСом их не было?

"7206VXR %SYS-2-MALLOCFAIL"
Отправлено zaikini , 11-Июл-06 16:53 
>>>>Добавить память в настоящий момент не имеем возможности.
>>>неужели ноута нет под рукой какогонить? ;)
>>>посмоторите - может в NPE подойдет, в 3745 точно подходила такая память....
>>>
>>
>>На другом узле стоит 7204 с 256Мб подключена к этому же апстриму,
>>у нее все в порядке.
>>Сейчас попробывали поменять иос на c7200-js-mz.122-25.S10.bin
>>Результат тот же, за исключением того что изменился процесс:
>>
>>%BGP-5-ADJCHANGE: neighbor с.с.с.с Up
>>Jul 11 11:52:45.422: %SYS-2-MALLOCFAIL: Memory allocation of 65536 bytes failed from 0x607CDF8C,
>>alignment 16
>>Pool: Processor  Free: 34060  Cause: Not enough free memory
>>Alternate Pool: None  Free: 0  Cause: No Alternate pool
>>
>>-Process= "IP RIB Update", ipl= 0, pid= 58
>>-Traceback= 607D3258 607D4418 607CDF94 6062116C 605F9D00 605FF8C0 60606710 6060CB34 60A273C0 609FED48 609FEE28
>>
>>Jul 11 11:52:45.426: %FIB-3-NOMEM: Malloc Failure, disabling CEF
>>-Traceback= 605F9D4C 605FF8C0 60606710 6060CB34 60A273C0 609FED48 609FEE28
>>Jul 11 11:52:46.066: %BGP-5-ADJCHANGE: neighbor с.с.с.с Down No memory
>
>
>так я не понял. на 7204 с ИСОом c7200-js-mz.122-25.S10.bin  тоже проблемы
>начались?
>а с предыдущим ИОСом их не было?


нет, на 7204 все в порядке, некорректно составил фразу. ИОС был заменен на 7206

"7206VXR %SYS-2-MALLOCFAIL"
Отправлено ilya , 11-Июл-06 17:22 
>>>>>Добавить память в настоящий момент не имеем возможности.
>>>>неужели ноута нет под рукой какогонить? ;)
>>>>посмоторите - может в NPE подойдет, в 3745 точно подходила такая память....
>>>>
>>>
>>>На другом узле стоит 7204 с 256Мб подключена к этому же апстриму,
>>>у нее все в порядке.
>>>Сейчас попробывали поменять иос на c7200-js-mz.122-25.S10.bin
>>>Результат тот же, за исключением того что изменился процесс:
>>>
>>>%BGP-5-ADJCHANGE: neighbor с.с.с.с Up
>>>Jul 11 11:52:45.422: %SYS-2-MALLOCFAIL: Memory allocation of 65536 bytes failed from 0x607CDF8C,
>>>alignment 16
>>>Pool: Processor  Free: 34060  Cause: Not enough free memory
>>>Alternate Pool: None  Free: 0  Cause: No Alternate pool
>>>
>>>-Process= "IP RIB Update", ipl= 0, pid= 58
>>>-Traceback= 607D3258 607D4418 607CDF94 6062116C 605F9D00 605FF8C0 60606710 6060CB34 60A273C0 609FED48 609FEE28
>>>
>>>Jul 11 11:52:45.426: %FIB-3-NOMEM: Malloc Failure, disabling CEF
>>>-Traceback= 605F9D4C 605FF8C0 60606710 6060CB34 60A273C0 609FED48 609FEE28
>>>Jul 11 11:52:46.066: %BGP-5-ADJCHANGE: neighbor с.с.с.с Down No memory
>>
>>
>>так я не понял. на 7204 с ИСОом c7200-js-mz.122-25.S10.bin  тоже проблемы
>>начались?
>>а с предыдущим ИОСом их не было?
>
>
>
>
>нет, на 7204 все в порядке, некорректно составил фразу. ИОС был заменен
>на 7206

а какой иос на 7204 и на 7206 сейчас?

"7206VXR %SYS-2-MALLOCFAIL"
Отправлено zaikini , 11-Июл-06 17:31 
>>>>>>Добавить память в настоящий момент не имеем возможности.
>>>>>неужели ноута нет под рукой какогонить? ;)
>>>>>посмоторите - может в NPE подойдет, в 3745 точно подходила такая память....
>>>>>
>>>>
>>>>На другом узле стоит 7204 с 256Мб подключена к этому же апстриму,
>>>>у нее все в порядке.
>>>>Сейчас попробывали поменять иос на c7200-js-mz.122-25.S10.bin
>>>>Результат тот же, за исключением того что изменился процесс:
>>>>
>>>>%BGP-5-ADJCHANGE: neighbor с.с.с.с Up
>>>>Jul 11 11:52:45.422: %SYS-2-MALLOCFAIL: Memory allocation of 65536 bytes failed from 0x607CDF8C,
>>>>alignment 16
>>>>Pool: Processor  Free: 34060  Cause: Not enough free memory
>>>>Alternate Pool: None  Free: 0  Cause: No Alternate pool
>>>>
>>>>-Process= "IP RIB Update", ipl= 0, pid= 58
>>>>-Traceback= 607D3258 607D4418 607CDF94 6062116C 605F9D00 605FF8C0 60606710 6060CB34 60A273C0 609FED48 609FEE28
>>>>
>>>>Jul 11 11:52:45.426: %FIB-3-NOMEM: Malloc Failure, disabling CEF
>>>>-Traceback= 605F9D4C 605FF8C0 60606710 6060CB34 60A273C0 609FED48 609FEE28
>>>>Jul 11 11:52:46.066: %BGP-5-ADJCHANGE: neighbor с.с.с.с Down No memory
>>>
>>>
>>>так я не понял. на 7204 с ИСОом c7200-js-mz.122-25.S10.bin  тоже проблемы
>>>начались?
>>>а с предыдущим ИОСом их не было?
>>
>>
>>
>>
>>нет, на 7204 все в порядке, некорректно составил фразу. ИОС был заменен
>>на 7206
>
>а какой иос на 7204 и на 7206 сейчас?


7204 - 12.2(14)S14
7206 - 12.2(25)S10

"7206VXR %SYS-2-MALLOCFAIL"
Отправлено ilya , 12-Июл-06 10:56 
>
>7204 - 12.2(14)S14
>7206 - 12.2(25)S10
а как ведет себя 12.2(14)S14  на 7206?

но тут ИМХО лучше добавить памяти чем танцевать с бубном сейчас и потом, когда кол-во префиксов возрастет...

"7206VXR %SYS-2-MALLOCFAIL"
Отправлено zaikini , 12-Июл-06 14:54 
>>
>>7204 - 12.2(14)S14
>>7206 - 12.2(25)S10
>а как ведет себя 12.2(14)S14  на 7206?
>
>но тут ИМХО лучше добавить памяти чем танцевать с бубном сейчас и
>потом, когда кол-во префиксов возрастет...

7204 ведет себя отлично с этим иосом, поэтому на 7206 залили именно 12.2(14)S14 и все завелось.
Всем спасибо.

"7206VXR %SYS-2-MALLOCFAIL"
Отправлено zaikini , 12-Июл-06 14:56 
>>>
>>>7204 - 12.2(14)S14
>>>7206 - 12.2(25)S10
>>а как ведет себя 12.2(14)S14  на 7206?
>>
>>но тут ИМХО лучше добавить памяти чем танцевать с бубном сейчас и
>>потом, когда кол-во префиксов возрастет...
>
>
>
>7204 ведет себя отлично с этим иосом, поэтому на 7206 залили именно
>12.2(14)S14 и все завелось.
>Всем спасибо.


Да, память конечно заказали еще:)