Eu uso e conheço bem o ELM-Chan paralelo.
Por exemplo no ELM-Chan:
Dê uma olhada no arquivo avrx32_e.txt que lá tem uma parte de comandos serial.
editei aqui:
Fiz um teste avrsp -rf, com a serial sem o gravador e dá exatamente sua mensagem.
Veja lá o comando para serial. Parece que por default usa com1. Sua porta é com1 ? Penso que já disse acima que sim.
Tem algum modem, ou outra placa, no pc, disputando a mesma IRQ da com1 ?
Veja lá que há um comando -z que provoca pulsos de 1ms no sck, para teste.
Penso que primeiro deve ter certeza que há comunicação.
Depois se os pinos do chip estão de fato corretos. É bom verificar.
Com o modo paralelo funciona bem.
Quanto aos demais nunca usei. Todos tem suas manhas.
No GrupCn tem um gravador em torno de R$100,00 da própria Atmel, o AVRDragon, mas com certeza com o do ELM-Chan e o avrdude (que nunca usei mas muitos usam) funcionam.
Pergunto : Seu cabo tem um 74HC125 ou 126 como conversor de tensão ?
Se for cabo puro, pode ser que em seus 2 PCs o nível da porta não chegue aos 4,5 a 5Vcc necessário para o gravador. Sem o CI depende de sorte.
Veja abaixo:
http://elm-chan.org/works/avrx/avrx_com.png