homs,
Учтите, что после msu deinterlace на выходе Вы получаете 50 кадров (если не изменили настройки) в секунду прогрессива. По настройкам энкодера чем меньше значение Rate control тем выше битрейт и соответственно меньше сжатие (больше размер файла). Попробуйте в пределах от 12-18, вобще это все эксперементально. Еще нужно поставить галки на Zero latency и Vitrualdub hack. Удачи в освоении видеокодинга.