Возможно, стоит потвикать параметры, эти кодеки весьма капризные. Отключить психовизуальные оптимизации для начала, они съедают битрейт почём зря (их силу нельзя выставить универсально, она зависит от контента, его характера, и качества), а чтобы мыла не было, можно отключить сао, увеличить aq-mode и aq-motion опять же, чтобы покрасивее в движении. Мне не нравится мусор в кадре. Не плохо бы сравнение с "медленным и качественным" vp9, вероятно, будет ощутимо лучше. А чтобы адекватно сравнить x264 можно поднять ему битрейт хотя бы в несколько раз, это уж совсем ужатый, тем более, для такого контента.