Насчёт -vf на лету - нет. Даже если есть желание клавишей "s" понаделать скриншотов с любимого порнофильма - надо: 
 > mplayer  -vo directx:noaccel -vf screenshot porn.avi 
 И проверить:> mplayer -vf help - есть ли в билде этот фильтр.   
 По поводу рэйтов при кодировке: 
 1) -of - это всё ещё экспериментальная функция. Мне кажется, что всё равно создаётся avi контейнер (а не чистый mpeg). 
http://avidemux.sourceforge.net/ - уже писал о нём, попробуйте, там как раз под M$ билд появился, пользует тот же ffmpeg. 
http://avidemux.sourceforge.net/doc/ru/index.html - дока на русском 
 2) Мне кажется, что Вы описываете довольно стандартную ситуацию с попыткой пережать изначально закодированный с низким битрэйтом (2000) файл в более высокий битрэйт (9000)   
 Дайте в ПМ вывод (как внизу) от проигрывания исходного и получившегося файлов.     
 c:\files\music>mplayer pyatak.avi 
 MPlayer dev-CVS-050626-17:02-3.4.2 (C) 2000-2005 MPlayer Team 
 CPU: Intel Pentium M Banias (Family: 6, Stepping: 5) 
 Detected cache-line size is 64 bytes 
 CPUflags:  MMX: 1 MMX2: 1 3DNow: 0 3DNow2: 0 SSE: 0 SSE2: 0 
 Compiled with runtime CPU detection - WARNING - this is not optimal! 
 To get best performance, recompile MPlayer with --disable-runtime-cpudetection.   
 Playing pyatak.avi. 
 AVI file format detected. 
 VIDEO:  [DX50]  720x480  24bpp  29.970 fps  817.5 kbps (99.8 kbyte/s) 
 ========================================================================== 
 Opening audio decoder: [mp3lib] MPEG layer-2, layer-3 
 AUDIO: 22050 Hz, 2 ch, s16le, 48.0 kbit/6.80% (ratio: 6000->88200) 
 Selected audio codec: [mp3] afm:mp3lib (mp3lib MPEG layer-2, layer-3) 
 ========================================================================== 
 ========================================================================== 
 Opening video decoder: [ffmpeg] FFmpeg's libavcodec codec family 
 Selected video codec: [ffodivx] vfm:ffmpeg (FFmpeg MPEG-4) 
 ========================================================================== 
 Building audio filter chain for 22050Hz/2ch/s16le -> 0Hz/0ch/??... 
 AO: [dsound] 22050Hz 2ch s16le (2 bps) 
 Building audio filter chain for 22050Hz/2ch/s16le -> 22050Hz/2ch/s16le... 
 Starting playback... 
 VDec: vo config request - 720 x 480 (preferred csp: Planar YV12) 
 VDec: using Planar YV12 as output csp (no 0) 
 Movie-Aspect is 1.50:1 - prescaling to correct movie aspect. 
 VO: [directx] 720x480 => 720x480 Planar YV12   
 Exiting... (Quit)