Изолируйте проблему.
То что пробовали разными способами подключаться это правильно, но недостаточно.

Если НЕ подключаться, то связь всё равно пропадает время от времени?
Если пропадает связь по RDP (например), по другим протоколам она пропадает тоже?
Пропадает связь только для входящих соединений, или для исходящих тоже?
То что вы называете "удалённо", это откуда-то из инета, или вы в той-же локальной сети с серыми адресами?
Пропадает связь только у вас, или у других тоже?
Самотрите на логи свича и лампочку на физическом порту.

Две рабочие гипотвзы:
Или там какая-то хрень спонтанного или периодического характера, которая не имеет отношения к удалённым подключениям, а вы просто первый заметили симптомы.
Или где-то посередине кто-то слишком творчески подошёл к настройкe какого-то механизма IPS.