No Excel, assim como em diversos programas por aí, existem caracteres que são considerados coringas. Trabalhar para substituí-los pode ser uma tarefa um tanto complicada para pessoas não ou mal avisadas.
Por exemplo, vc quer acabar com os astericos de uma célula qualquer, então:

1) digite 51** numa célula
2) Tecle Ctrl+U (janela de substituir), ou se quiser um caminho mais longo, Ctrl+L e clique na guia Substituir.
3) Digite "*" na caixa "Localizar", e digite 69 na caixa "Substituir por"
4) Clique em "Substituir tudo"

Verá que todo o texto de toda a planilha será substituído. Não é isso que vc queria.
O Excel entende o asterisco como "tudo", ou seja, um coringa. Ele então substituiu tudo por 69.

Se tentar a mesma coisa com o interrogação, terá um resultado semelhante pois ele também é um coringa.
Não vou entrar nos detalhes de como são coringas e como são úteis, o foco aqui é,

COMO SUBSTITUIR TODOS OS ASTERISCOS OU INTERROGAÇÕES POR QQUER COISA, usando a caixa de Localizar / Substituir do Excel?

É simples, use um acento til na mesma caixa.

Siga os passos acima, mas ao invés de teclar "*", tecle "~*".
Verá que agora isso dará certo. O mesmo acontece com o "?". Se quiser substituir o interrogação, use ~? ao invés de ?

É isso, fica então a dica!

Abs.

FF