Bom dia.
Estava também com o mesmo erro, e em varias pesquisas que eu fiz, eu finalmente consegui transmitir a DBE. (Erro br.gov.frameworkdemoiselle.certificate.applet.view.JPanelApplet)
Segue os passos que eu fiz:
1º Passo: Desinstalar a nova versão do JAVA 8.171 e instalar o Java 8.151 (Java SE Runtime Environment 8u151) no link abaixo:
www.oracle.com
2º Passo: Quando instalar, entrar em "Configurar Java", na "Aba Java", clicar em "Exibir". Vai abrir uma janela "Definições do Java Runtime Environment", e deixar ativado somente o produto 1.8.0_151, desativar o produto 1.8.0_171. Clicar em OK.
3º Passo: Em "Configurar Java", na Aba "Segurança", deixar ativado o "ATIVAR CONTEÚDO JAVA NO BROWSER", e no nível MÉDIO.
4º Passo: Na mesma aba do 3º passo, clicar em "EDITAR LISTA DE SITES", e incluir os seguintes sites, e depois disso clicar em OK:
http://14receita.fazenda.gov.br
www.receita.fazenda.gov.br
http://www14.fazenda.gov.br/cadsincnac/recuperadocumentoaction.do
http://www14.fazenda.gov.br:443
https://www14.receita.fazenda.gov.br/redesim/
https://www38.receita.fazenda.gov.br/redesim/recuperar-solicitacao.jsf
https://www38.receita.fazenda.gov.br
https://www38.receita.fazenda.gov.br/443
https://www38.receita.fazenda.gov.br/redesim/
https://www38.receita.fazenda.gov.br/redesim/recuperar-solic
5º Passo: Aplicar, e OK.
6º Passo: No Internet Explorer (no meu caso é o IE 11), em "Opções da Internet", na aba "Geral", clicar em Configurações (no Histórico de Navegação), e selecionar "Sempre que eu visitar a pagina na Web", clicar em OK.
7º Passo: Ainda em "Opções da Internet", clicar na Aba Segurança, e em "Sites Confiáveis" clicar em Sites. Desabilitar aonde está escrito "Exigir verificação do servidor (https:) para todos os sites desta zona. Adicionar os mesmos sites do 4º passo. Quando terminar, clicar em Ok
8º Passo: Aplicar e OK na "Opções da Internet".
9º Passo: Fechar o IE, abrir novamente e tentar transmitir a DBE.
Observação: Quando for assinar a DBE, caso aparecer para atualizar o Java, clicar em MAIS TARDE.
Foi assim que eu consegui transmitir.
Abraços!