Gente, o ffmpegx só vai converter rmvb se for instalado um codec para isso! Nativamente ele não converte mesmo.
O codec se chama reallib: http://sourceforge.net/project/download ... irror=ufpr
Para instalar basta fechar o ffmpegx e copiar a pasta reallib para Macintosh HD > Library > Application Support > ffmpegx.
Ao abrir o ffmpegx depois ele já irá reconhecer o formato e converter... mas se não me engano, não dá para converter para o formato do itunes diretamente, deve ter que passar para avi antes... mas não tenho certeza disso, pois faz tempo que não converto nada.