Пго позволяет включать более дорогие оптимизации только там, где это целесообразно и не просто раздувает код. Таким образом, O3 это чисто вера и надежда на лучшее (в конечном счёте, хуже будет всегда), но пго использует статистику для выбора эффективного поведения и будет ощутимо быстрее или по крайней мере не хуже. Си, кстати, по мои наблюдениям выигрывает больше от пго, чем сипп, хотя зависит от алгоритмов. И не редки случаи, когда все возможные оптимизации уже написаны руками, или авторы просто противятся более качественным оптимизациям компилятора. Различия в коде могут быть весьма ощутимые, вплоть до того, где будет размешена переменная счётчика цикла -- в регистре процессора или в памяти.