Obs.:

Já instalei hotfix e não resolveu.

O arquivo que mais ocorre o erro é de aproximadamente 1M e geralmente mando ele para o sharepoint (não sei se pode ser algo relacionado a isso).

Ninguém mesmo?

Olá, Rodrigo.

No MS Technet há uma discussão sobre esse tema, parece que é uma dll, a "ShellStreams.dll". Se seu Excel é 64 bits ela estaria em C:Arquivos de programasArquivos comunsInternet ServicesShellStreams.dll. Se for 32 bits estaria em C:Arquivos de programas(x86)Arquivos comunsInternet ServicesShellStreams.dll.

Segundo o técnico que respondeu àquele tópico, que inclusive é moderador, se seu sistema for 32 bits bastaria renomear a dll caso contrário reinstalar o Office. O link é
https://social.technet.microsoft.com/Forums/pt-BR/c966f665-b8fc-4edf-8c50-26f2fa570974/o-excel-encontrou-contedo-ilegvel-em-arquivo-deseja-recuperar-o-contedo-desta-pasta-de?forum=officept

Outros usuários recomendam o uso de uma ferramenta de terceiros que, segundo alguns, só isso é o que dá jeito. Uma destas é o Office Recovery. Parece que há uma versão demo, mas não sei se ela recupera de fato ou só mostra o que conseguiria recuperar. O endereço do fabricante é http://www.officerecovery.com/pt/excel/.

Sobre essa ferramenta, acompanhe a discussão aqui:http://answers.microsoft.com/pt-br/office/forum/office_2007-excel/conteudo-ilegivel-no-excel-2007/81c7fab4-471f-4a6e-9f5b-964161b31c02?auth=1.

Se vc usa sharepoint, veja esse artigo no KB https://support.microsoft.com/pt-br/kb/929766

Ia esquecendo, outra recomendação é tentar abrir no BROffice ou numa outra versão do Excel, por exemplo e se conseguir, salvar novamente como xlsx.

Não utilizo o share point, não sei dizer se tem haver ou não. Voçe manda o arquivo para o share e recebe de volta com alteraçoes??
Contudo voçe relatou apenas formulas, por que então salvar como xlsb? não pode utilizar o padrão xlsx?
As referencias perdidas são de arquivos externos?