Possivelmente por ruídos internos visto que os externos estão devidamente acomodados.
Se os ruídos externos estão ok, como no modo sleep pode ter aparecido algum?
Experimente zerar (feche com um fio curto sua entrada para sua referência analógica), a entrada do opamp, e meça o resultado. Se der algo, desconfie do exterior, ou sua referência está com ruído.
Normalmente os ruídos provenientes do micro (desprezando todos os demais, somente os causdos pelo micro), são os das entradas vizinhas a qual esta sendo usada para coletar o sinal (desconsiderando ruído na alimentação do mesmo). Quando estas estão como saída e mudam o estado durante o tempo de aquisição (crosstalk ou outro nome para cruzamento de sinal) sempre um percentual das portas adjacentes aparecerão na sua medida. Mas com sleep, ou noise canceler mode, isto não poderia estar acontecendo.
Fiquei na dúvida quanto ao que você entendeu do fato de ser uma aplicaçào restrita, ou "rara" tendo um op fixo em 20X. Sem usar algo antes para adequar o sinal, vai ser sorte usar os 10 bits ou se conformar com um percentual da faixa, apenas.
Por exemplo em sua aplicação para um termopar usará uma pequena faixa dos 10 bits, se for sem adequar o sinal com mais ganho, além dos 20X do op do micro.
Nos AVRs é extremamente importante que a alimentação da tensão de referência (do ADC) tenha um filtro PI ou seja C+L+C (capacitor, indutor (bead) ,capacitor) e a referência é como o Djalma colocou, ligada em estrela. Pouco adianta esse layout, se por esta referência passar corrente apreciável. Esta referência deveria ter corrente "zero" (impossível) ou ter impedância zero.