> Так вот, когда добавил группу как запрещенную в пользователя в /etc/ssh/sshd_config
> то доступ на ftp пропал.

А надо ж было отнять у пользователя группу, разрешающую ssh. Если настроено, как в el6 (см.ниже).

ftp может пропасть по куче причин. Например, права на /ftp (cd не может сделать под пользователем), shell в /dev/false (говорят, мешает). Наверняка есть много других причин...

> Как сделать, чтобы пользователи ходили только по ftp или sftp?

На el6 по ssh пускают только пользователей из группы sshd вот так:

# grep AllowGroups /etc/ssh/sshd_config
AllowGroups sshd

В vsftpd, Судя по интернетам (google://vsftpd users allowed), то же делается списком пользователей в файле и userlist_enable=YES и ко.

После изменения как одного (добавления/уделения группы у пользователя), так и другого (редактирования файла) может понадобиться перезапуск соотв.службы, и запущенные, но не завершённые сессии могут быть не прерваны.

---
Возможно, для vsftpd есть вариант настройки с группой - через права на конень /ftp.
freelinuxtutorials.com/tutorials/setting-up-ftp-server-via-vsftpd/