> Объективно можно выявить отклонения сжатого файла от оригинала.

Объективно можно выявить те или иные *математические* отличия кадра от оригинала (примеры есть на тематических сайтах). Вот только они не очень коррелируют с тем насколько хорошо или плохо кадр будет выглядеть с точки зрения двуногих. Особенно в движении. Ну нет точной модели восприятия видео двуногими насколько я знаю. Есть пара грубых аппроксимаций (PSNR и более старый SSIM), каждая из коих является абстрактным попугаеметром. Который, может быть, как-то коорелирует с понятиями двуногих о качестве картинки видео. Степень корреляции - далеко не 100%. Если просто почитать хелпушник к x264 например - можно заметить что он может работать как "стараясь получить хорошую картинку" или же "стараясь получить хороший PSNR", при том честно предупреждают что улучшение PSNR-попугаеметра ведет к ... ухучшению визуального качества картинки ;). Что лишний раз подтверждает тезис о том что PSNR - нифига не тождественнен качеству картинки в понимании хомосапиенса, а лишь грубая аппроксимация с точностью плюс-минус километр и хрен его знает какой степенью корреляции между попугаями и тем что воспримут реальные двуногие.

> Если отклонения в сторону сглаживания - это хорошо, если отклонения
> в сторону зашарпивания и jpeg-артефактов - это плохо. Как бы намекаю,
> что VP8 в этом плане лучше h.264

У оного есть еще 1 нехороший артефакт - ringing (звон), когда вокруг четких констрастных границ образуется характерная кайма, повторяющая очертания объекта вдоль контрастной границы, которая вполне себе заметна на многих высококонтрастных сценах с четкими границами (а срач вокруг текста новостей/титров - просто фирменная "фича" мпег4-образных).

В целом можно заметить вот что:
1) В 1-проходном режиме x264 точнее чем vp8 держит битрейт. vp8 излишне пессимистичен, сильно занижает битрейт (может выдать 420 кбит вместо 500 запросто) и в итоге получает более плохую картинку, ессно, т.к. еще никому не удавалось выбросить почти 20% битрейта совершенно нахаляву :).
2) В 2-проходном режиме оба точны как швейцарские часы и укладываются в заданную скорость с точностью до нескольких кбит, получая вполне сравнимые на вид результаты.