https://mobile.opennet.me/openforum/vsluhforumID6/23323.html привет<br><br>есть некий датацентр в штатах с серваками на которых хранится видео и отдается по хттп (по типу ютуба)<br>все клиенты в основном сидят в японии и качают видосы по хттп.<br><br>видеосервера более 10 штук посажены на один большой свитч cisco 6500, перед который стоит роутер с bgp. и тремя аплинками.<br><br>проблема<br><br>в японии стоит тачка и тестирует бандвидтх через 5 провайдеров и рисует графики скоростей до видеосерверов через этих самых провайдоров.<br><br>и вот странность:<br><br>один и тот же провайдер показывает до рядом друг с другом стоящих серваков совершенно разный bandwidth.<br><br>в идеале картина такая должна быть:<br><br><br> &#124; ISP1 &#124; ISP2 &#124;ISP3 &#124; ISP4 &#124; ISP5<br>VIDEO1 &#124;1MBs&#124;1MBs&#124;1MBs&#124;1MBs&#124;1MBs<br>VIDEO2 &#124;1MBs&#124;1MBs&#124;1MBs&#124;1MBs&#124;1MBs<br>VIDEO3 &#124;1MBs&#124;1MBs&#124;1MBs&#124;1MBs&#124;1MBs<br>...<br><br>так оно и есть на большинстве серваков<br>но некоторые серваки показывают странную статистику.<br>выглядит это так:<br> &#124; IS https://mobile.opennet.me/openforum/vsluhforumID6/23323.html#6 Tue, 29 Nov 2011 07:53:55 GMT &gt;[оверквотинг удален]<br>&gt; video4a и video4b.<br>&gt; и так - 35 VIP-адресов раскинуты на 70 видеосерверов.<br>&gt; я померял скорость напрямую до серверов и оказалось что со всех серваков <br>&gt; bandwidth ровный, в пределах нормы и загруженности - прыгает в районе <br>&gt; 0.7-1.1 MByte/s <br>&gt; как только пытаешься брать те же файлы через балансировщик - с большинства <br>&gt; VIP скорость похожая, но на некоторых падает до безобразно низкой.<br>&gt; так что BGP тут похоже совсем не причем и зря я на <br>&gt; него гришил, а проблема в CSM.<br>&gt; осталось только разобраться почему :) <br><br>а вот и причина видимо <br><br># sh proc cpu history<br><br> 5555588888777222888888855553333666666669999999333888888888<br> 4444466666222333888884488881111222299997777444999888884444<br>100 **** <br> 90 ***** ***** ******* ***** <br> 80 ***** ******* ******* *********<br> 70 ******** ******* *********** *********<br> 60 ******** ***** https://mobile.opennet.me/openforum/vsluhforumID6/23323.html#5 Tue, 29 Nov 2011 07:42:12 GMT &gt; Таблица с реальными измерениями изменяется с течением времени ?<br>&gt; В смысле, тест VIDEO4 через ISP3 вообще всегда показывает 100 KBs ? <br>&gt; Если есть доступ на тот роутер в штатах, у которого три аплинка, <br>&gt; то хорошо бы в момент тестирования посмотреть show ip cef exact <br>&gt; ... , чтобы увидеть, через какой аплинк уходит траффик каждого теста. <br>&gt; Возможно, все проблемные тесты окажутся связанными с каким-то одним аплинком из <br>&gt; трех.<br><br>таблица динамически меняется да. меняется в течение дня. полдня показывает 100кб, потом восстанавливается до нормы в 1МБ. через одного и того же провайдера.<br><br>в общем я похоже нашел в чем узкое место. в Cisco CSM видимо.<br>у нас доступ до серверов не прямой а через CSM балансер.<br><br>один VIP (VIDEO4) балансирует хттп траффик в round-robin на два реальных сервака: video4a и video4b.<br>и так - 35 VIP-адресов раскинуты на 70 видеосерверов.<br><br>я померял скорость напрямую до серверов и оказалось что со всех серваков bandwidth ровный, в пределах нормы и загруженности - прыгает в р https://mobile.opennet.me/openforum/vsluhforumID6/23323.html#4 Mon, 28 Nov 2011 12:54:09 GMT Еще вопрос. Трасса менялась со временем?<br>Можете крутить BGP? чтоб убрать кривую трассу?<br> https://mobile.opennet.me/openforum/vsluhforumID6/23323.html#3 Mon, 28 Nov 2011 09:34:09 GMT Таблица с реальными измерениями изменяется с течением времени ?<br>В смысле, тест VIDEO4 через ISP3 вообще всегда показывает 100 KBs ?<br><br>Если есть доступ на тот роутер в штатах, у которого три аплинка, то хорошо бы в момент тестирования посмотреть show ip cef exact ... , чтобы увидеть, через какой аплинк уходит траффик каждого теста. Возможно, все проблемные тесты окажутся связанными с каким-то одним аплинком из трех.<br> https://mobile.opennet.me/openforum/vsluhforumID6/23323.html#2 Mon, 28 Nov 2011 08:08:44 GMT &gt;[оверквотинг удален]<br>&gt;&gt; подскажите откуда хотя бы начинать копать? :) <br>&gt; Судя по тому, что ты описал, один из трёх маршрутов кривой. В <br>&gt; чём именно кривой, неясно. Может быть где-то по дороге дикий UDP <br>&gt; трафик, из-за чего TCP тупо дохнет из-за потерь пакетов, может (опять <br>&gt; же по дороге) шибко умный ISP режет ICMP и поэтому не <br>&gt; работает congestion control. Может быть (опять же по дороге) где-то слишком <br>&gt; большой буфер, из-за чего опять же не работает congestion control.<br>&gt; Вешайся каким-нибудь wireshark, пиши трафик между ISP1 и VIDEO5, детально разбирайся в <br>&gt; логах. TCP на больших расстояниях - штука достаточно хрупкая и будет <br>&gt; работать со скоростью канала разве что на совсем пустой сети.<br><br>спасибо за развернутый ответ, попробую натравить вайршарк.<br><br>у меня еще вдруг возникло подозрение, что сервера просто упираются в какой-то непонятный потолок, так как я тестил скорость с совершенно разных провайдеров российских и с рутшелла в европе. и там точно такая же картина. видимо узкое место https://mobile.opennet.me/openforum/vsluhforumID6/23323.html#1 Mon, 28 Nov 2011 03:41:37 GMT [...]<br>&gt; причем это происходит на любом из пяти провайдеров. какаято часть серваков будет <br>&gt; отдавать 1мегабайт в секунду, а рядом стоящий сервак отдает 100кб.<br>&gt; в чем может быть загвоздка? даже предположить не могу. сначала грешил на <br>&gt; bgp, так как между конечными точками больше десяти хопов. но теперь <br>&gt; уже как-то сомневаюсь.<br>&gt; подскажите откуда хотя бы начинать копать? :) <br><br>Судя по тому, что ты описал, один из трёх маршрутов кривой. В чём именно кривой, неясно. Может быть где-то по дороге дикий UDP трафик, из-за чего TCP тупо дохнет из-за потерь пакетов, может (опять же по дороге) шибко умный ISP режет ICMP и поэтому не работает congestion control. Может быть (опять же по дороге) где-то слишком большой буфер, из-за чего опять же не работает congestion control.<br><br>Вешайся каким-нибудь wireshark, пиши трафик между ISP1 и VIDEO5, детально разбирайся в логах. TCP на больших расстояниях - штука достаточно хрупкая и будет работать со скоростью канала разве что на совсем пустой сети.<br>