Consegui fazer a "atualização" via CD. Pseudo-atualização, na verdade.
As alterações que eu havia feito fiz com o mtkModToolbox 0.15a beta. Aumentei o número de caracteres, modifiquei o tamanho da barra de seleção, alterei a rotina de limpeza, desliguei o preview de jpg e habilitei a opção de exibir extenções de arquivos.
O player, como relatei em um post anterior, não aceitou o upgrade.
O que fiz agora foi pegar o firmware intacto (como extraí via serial), abri no MtkReMaker, salvei com a opção "Save CD", coloquei o nome DVP5980K_55.BIN, gravei em um CD-RW e coloquei no player.
Desta vez ele aceitou. Apareceu a mensagem "Atualizando" na tela por algum tempo (cerca de um ou dois minutos) e depois o player reiniciou, como era de se esperar.
O que estranhei é essa do player não aceitar atualizações. Será que o firmware não estava bom e o player percebeu isso? Hehehehe...