В userspace происходит компиляция (естественно с проверкой синтаксиса и ошибок) в байт-код для простенькой виртуальной машины, которая есть в ядре.
Виртуальная машина в ядре очень простая и имеет специфичный набор инструкций, оптимизрованный под задачи обработки пакетов (типа "загрузить в регистр байт по такому-то смещению из заголовка пакета", "сравнить регистры" и т.п.).
Но в ней нет "зашитого" кода, спецефичного для какого-либо протокола.
Т.о. из userspace в kernelspace происходит загрузка готового байт-кода (через протокол netlink), скомпилированного из вашего набора правил.
Всё остальное: все константы, структура тех или иных пакетов для различных сетевых протоколов, логика их разбора - все это вынесено в userspace-утилиты.
Т.е. kernelspace-код nftables независим от особенностей того или иного протокола и в случае добавления или изменения протокола достаточно изменить только userspace-код (логику обработки протокола).
Т.к. кода ядра nftbales протоколонезависим, то в общем устраняется необходимость писать match-расширения специально для включения в ядро (ранее это был patch-o-matic), т.к. все их можно реализовать в userspace-коде.
Т.е. для получения/обновления расширений не надо будет обновлять ядро - достаточно обновить утилиты, имеющие "на борту" новые спецификации и логику.
Насколько я смог понять, вирутальная машина - функция nft_do_chain_pktinfo
https://github.com/torvalds/linux/blob/master/net/netfilter/...