"Помещать папки перед файлами в наутилусе"
и
"Помещать папки перед файлами в диалогах открытия" -- это две разные настройки. Одна настройка принадлежит наутилусу, другая - GTK.

В диалоге открытия тыкай правой кнопкой мыши по списку файлов и отметь нужную галку в появившейся менюхе.