>> Например у меланокса есть 40Г infiniband уже давно.
> Infiniband и ethernet - очень разные технологии. И люди берут 10GE вместо
> 40G IB по той же цене потому, что им нужен именно
> ethernet.

а может скажете это меланоксу? Conect-2 - умеет одно и другое на одной железке :) и сверху выглядит одинаково OFED стеком.

>> Обратной же стороной монеты всей этой классности infiniband-а есть плохая совместимость
> У IB изначально не было задачи быть совместимым с эзернетов. Потому и
> удалось добиться низких задержек и высоких скоростей столь малыми усилиями (IB
> активно разрабатывают полторы компании)..

полторы? вы шутите.. OFED альянс далеко больше :-) да и производителей железо как мне помнится около 5.

>> отсутствие принятия этого чуда, как стандарта везде и вся
> У IB стандарт есть. А если ты про распространенность, то IB очень
> распространен в HPC.

IB распространен там где нужны маленькие задержки - в iSCSI, в стойках от netup/emc и тп..
это даже не HPC :-)

>> Особенно это ощущается, когда приобретаешь такой свич без сабнет менеджера. Тут-то ты и начинаешь его собирать сам, держать под это серверы и мучаться
> Сабнет менеджер в свитче не нужен (тем более, один единственный). OpenSM есть
> во многих дистрибутивах и выделить пару серверов (для отказоустойчивости) под него
> не проблема, тем более, что настраивается он до состояния "взлетел" очень
> просто. И, потом, на этих же серверах можно заодно и инфраструктурные
> сервисы, вроде DHCP и DNS, держать.

вы OpenSM настраивали? тестировали с большой нагрузкой (ну.. хотя бы тысячи 2-3 нод) ?
там такие чудеса :-)