Não se desespere, é assim mesmo.
O problema não é o Mac Mini e sim o tipo de conexão de você está utilizando: HDMI.
Já trabalhei em uma revenda Apple e lá utilizávamos tanto um Mac Mini quanto um iMac conectados a uma TV LED da LG no "Genius Bar" e a imagem gerada também era "lavada", mas só quando a interface do Mac OS X estava sendo exibida. Quando colocávamos um vídeo pra rodar aí ficava muito bom, isso porque tanto a conexão quanto o display utilizados foram feitos pra rodar vídeos, não pra serem utilizados como monitor de computador.
Aqui em casa acontece a mesma coisa, só que com um notebook PC e uma Sony Bravia LED, enquanto tá sendo exibida a interface do Windows a imagem é lavada e até meio "desfocada", quando colocamos um filme ou vídeo pra rodar fica excelente.
Portanto, não utilize uma TV como monitor e não utilize conexão HDMI para ligar o computador ao monitor, nenhum dos dois foram feitos para esse fim, então você nunca terá uma boa experiência.
Utilize as conexões criadas especificamente para este fim: [mini]DisplayPort, DVI ou VGA.
Seu monitor deve ter conexão DVI, aconselho fortemente utilizá-la. A VGA será bem melhor que a HDMI, você verá isso. Mas a DVI gera uma imagem bem mais nítida e viva que a VGA.
Falo de experiência própria, tenho um monitor Samsung 931BW [antigo] e a diferença do VGA para o DVI é notória.
Espero ter ajudado a te tranquilizar. E aproveite seu Mac Mini, pois é uma excelente máquina.