Valeu Jmaraujo, depois de muitas tentativas consegui fazer que funcione do jeito que queria e o que é melhor com tamanho reduzido.
Vou detalhar aqui oq fiz, que servira para outras pessoas que tiverem o mesmo problema.
1º tinha o pacote klite mega codec pack intalado(com divx6), desintalei apenas o divx e instalei a versão 5.1.1
2º instalei o avisynth e o virtualdub 1.5.10.2(build 240/release)
como utilizei os programas
1º criei abri o bloco de notas e digitei a seguinte linha
DirectShowSource("C:\Documents and Settings\danilo\Meus documentos\filmes\real media\ODiaboVestePrada.rmvb", fps=29.97, convertfps=true)
2º salvei este arquivo como Aeradogelo.avs
obs: o filme e esse arquivo devem estar no mesmo diretorio.
3º Abri o virtual dub e emopen selecionei o aruivo aeradogelo.avs, apos isso o program abrira o filme automaticamente.
4º na opção video cliquei em fast recompress depois cliquei em compression e selecionei o codec Xvid mpeg4 codec
5º entrei no config do codec xvid e em profile selecionei home theater PAL
no encoding coloquei single pass
e em quantizer coloquei 4.00
6º cliquei em other options e na aba encoder na opção FourCC used selecionei DX50 dê ok.
7º cliquei em more no campo quality preset
e selecionei em motion search precision o campo 4-high, deê ok e depois ok novamente e mais uma vez ok
8º agora iremos voltar na opção video e selecionamos frame rate e em source rate adjustment selecionamos a ultima opção "Change so video and audio durations match, no resto deixamos como esta, e dê ok
9º agora vamos na opção stream e em stream list
clique com o botao direito em cima do audio e selecione full processing, clique novamente com o botão direito do mouse e selecione compression selecione o codec mpeg layer-3 e 56 kbts/s 22,050 stereo e dê ok
10º clique novamente com o botão direito no audio e selecion conversion, selecione a caixa High quality e dê OK
va em file depois save e coloque o nome do filme no caso A era do gelo dê ok e espere a transformação de rmvb para avi(xvid/divx)
Essa transformação teve boa qualidade e transformou um arquivo rmvb de 304.074 kb para um arquivo avi de 476.250 kb sem mudança de tamanho de tela.
Ps: Testado no aparelho Dvp642k/78
Espero ter ajudado
e obrigado! pela dica JmAraujo.