Depois de pesquisar na net, consegui instalar o WinAVR com windows Vista, usando a versão WINAVR de 22-01-2007 e os arquivos do winavr-vista-patch.zip.
Vejam o site em inglês:
http://www.madwizard.org/extern/winavr-vista/
No momento estou usando um notebook HP com windows Vista Home Basic, o WinAVR + Studio AVR4 + Gravador Dragon via USB.
Após a instalação, não apareceu mais o erro de alocação de memoria e falhas na compilação.
Um abraço a todos.