A tensão de 1,024 está ok, assim a conversão fica direta.
Você utilizou um filtro passa-baixa para conectar o AVcc no Vcc como recomenda a ATMEL?
Tenta ligar uma das extremidades de um trimpot ou potenciometro (uns 20 K) no ponto de ingresso desta referência no AREF, a outra extremidade liga no ponto de ingresso do GND e o cursor na entrada ADC, ai ajusta para 10 mV e vê o que dá! Confere os 1,024 e os 10 mV.
Em ultimo caso, se nada resolver (até trocando o MP) e a leitura for linear a partir de 10 mV, você poderia acrescentar um operacional e utilizar o offset.
