Veja se ajuda:

Sub teste()
retorno = MsgBox("teste", vbRetryCancel)
If retorno = 4 Then
MsgBox "voce apertou repetir"
Else
MsgBox "voce apertou cancela"
End If
End Sub

exatamente isto, mas o que quer dizer o 4? e se fosse o contrario para o cancel seria qual numero?

Boa note, amigo como você estar usando um metodo do msgbox que possui Retry e cancel você precisa variar o msgbox!
segue o exemplo

Sub teste()
Dim X As String

X = MsgBox("markos", vbRetryCancel)

If X = vbRetry Then
MsgBox "REPETIR"
Else
MsgBox "CANCELAR"
End If

End Sub

Amigo segue em anexo um exemplo!

Atenciosamente MarkoSoftware

valeu, muitissimo obrigado