As dicas do Aquino resolveram os problemas de debounce do encoder rotativo.
Estou me baseando neste circuito, que utiliza um flipflop jk:
http://books.google.com.br/books?id=o7e ... &q&f=false
Estou usando a saida Q para indicar a direção.
Em vez de um contador com up e down separados (74hc193), estou usando um com os dois no mesmo pino (74hc191).
Vou precisar melhorar a parte de clock para o 74hc191, pois quando ocorre mudanças de sentido do encoder ele acaba por gerar uma contagem para o sentido anterior.
Vou fazer mais testes hj a noite.