Да параллельный если не надо ждать анализа последующих кадров.
только по этому мы и не получаем многократного увеличения производительности от видеокарт, ибо если бы можно было считать кадры именно параллельно, то видеокарты дали бы фору любому процу с разницей минимум в порядок.
А насчет процесса кодирования скажу даже больше, h264 при кодировании использует информацию сразу из нескольких кадров вперед/назад. и векторы движения, как ты выразился не часто возникает необходимость рассчета векторов движения, а кодек занимается этим на каждом не ключевом кадре, так они и формируются, когда нельзя из последовательности нескольких кадров составить картинку на основе векторов движения, тогда кодек принимает решение, что тут нужно вставить ключевой кадр.
правда это все оффтоп)