Ну, во первых, в таких случаях лучше не использовать статическую маршрутизацию.
Во вторых, в AWS для BGP есть разные настройки, как именно будет работать пара туннелей, поддерживается и multipath.
Далее, вы не сообщили, как именно у вас происходит переключение master-backup - а судя по тому что у вас 2 маршрутизатора - хорошо бы знать как именно вы делаете переключение клиентов на второй.

В вашем случае лучше всего использовать динамику с BGP - и тогда ваши маршрутизаторы будут аннонсить вашу подсеть в AWS с одного из роутеров в один момент времени - и ничего пропадать точно не будет.