Transei com esposa do meu chefe

Eu estou me sentindo um idiota nem mesmo acredito que fiz algo que pode me demitir de um emprego que paga tão bem.
Tudo aconteceu em uma confraternização do trabalho, eu tenho uma boa relação com meu chefe, nós estávamos conversando até que ele me apresentou a esposa dele, e teve de sair para resolver algo.
Papo vai papo vem e eu estranhando o feito que a esposa dele estava me tratando, passou o tempo e sem que eu me desse conta nós já estávamos flertando, acabei indo até o banheiro feminino e trasamos ali mesmo, alguns dias se passaram e nada até que ela me ligou e pediu para a encontrar em um motel.
Fui até lá na intenção de pedir desculpas pelo ocorrido e disse que foi um erro e não tinha a intenção de manter isso por medo é respeito ao meu chefe, mas ocorreu novamente eu não sei qual o meu problema só sei que agora tenho vários. Por favor me ajudem como eu recuso uma mulher tão atraente e resolvo essa situação.