Fernando, acho que valores de retorno da API FindWindow diferentes de zero mostram que há um UserForm aberto, se bem me lembro.

Se não souber o Caption do UserForm:
Retorno = FindWindow("ThunderDFrame", vbNullString)

Se souber:
Retorno = FindWindow(vbNullString, "UserForm1")

Obs.: o nome de classe do UserForm é ThunderDFrame exceto para o Office 97, que era ThunderXFrame

Obs.2: Não testei