Mude os .Value dos seus SQL para .Text e use aonde não tem nada o .Text
Assim vc excluirá o apóstrofo e garantirá a execução do update.

Não tive tempo de olhar o delete.

Boa noite, fernando.fernandes.

Obrigado pela dica, a parte do update esta funcionando mas só quando eu tiro o apóstrofo do campo ID, reparei em meu código ele esta inserindo os dados com o apóstrofo por isso estou com dificuldades em manipular.

Tentei fazer como disse trocar o .Value por .Text quando vai inserir mas não deu muito certo não, agora o delete sem sucesso !!

Quando se utiliza a instrução sql em um arquivo de banco de dados, como o Access o uso do apóstrofe(ou aspa simples) " ' " ou Aspas " " " é aceito normalmente.
Porem quando o Banco de dados é uma planilha Excel, nem sempre os mesmos comandos são entendidos coerentemente.
Então experimente em sua rotina de "salvar" utilizar o SQL conforme abaixo:

Sql = "INSERT INTO [FAIXA$] (ID, DESCRICAO, VALOR_INICIAL, VALOR_FINAL)"
            Sql = Sql & " VALUES ("
            Sql = Sql & " """ & TextBoxFaixaID.Text & """"
            Sql = Sql & ", """ & Me.TextBoxFaixaDescricao.Text & """"
            Sql = Sql & ", """ & Me.TextBoxFaixaValorInicial.Text & """"
            Sql = Sql & ", """ & Me.TextBoxFaixaValorFinal.Text & """"
            Sql = Sql & " );"

e Na rotina Update

Sql = "UPDATE [FAIXA$] "
            Sql = Sql & " SET DESCRICAO = """ & TextBoxFaixaAlteraDescricao.Text & """"
            Sql = Sql & ", VALOR_INICIAL = """ & Me.TextBoxFaixaValorInicial.Text & """"
            Sql = Sql & ", VALOR_FINAL = """ & Me.TextBoxFaixaValorFinal.Text & """"
            Sql = Sql & " WHERE ID = " & Me.TextBoxFaixaID.Text

Creio eu que irá atender o desejado

Boa noite, Reinaldo.

Troquei as instruções por seu código mas o apóstrofo insiste em aparecer.
Pra conter esse problema eu encontrei o seguinte código:

Sub DeletaApostofe()

Dim Apostrofe As Range

    For Each Apostrofe In Plan4.UsedRange
    
        If Apostrofe.PrefixCharacter = "'" Then
            Apostrofe.Value = Apostrofe.Value
        End If
        
    Next Apostrofe

End Sub

Onde me atendeu, não da forma como gostaria.
Agora o que estou quebrando cabeça com o delete !!!