Olá JS. Seja bem vindo à essa profissão incrível.
Já existe um tópico neste fórum com bastante coisa.
Eu recomendo ter o Manual de Contabilidade Aplicada ao Setor Público (MCASP) e o Manual de Demonstrativos Fiscais (MDF) como seus livros de cabeceira.
Fora isso, estude a parte de orçamento e finanças da Constituição, a Lei Complementar nº 101/2000 (LRF), a Lei nº 4.320/1964.
Livros, em geral, não tem muito mais de diferente do que você encontra nesses materiais. Talvez o mais interessante seja investir em cursos introdutórios.