Estou saindo com um cara mais velho

Tenho 20 anos,e comecei a sair com um cara de 36 anos, ele se ‘separou’ há 3 anos, mas ainda não está divorciado, tem um filho de oito anos. Já começa o relacionamento, com a carga de ter um filho, mas o que mas me preocupa é se a ex-mulher dele faz alguma coisa, isso me dá um certo receio, enfim além de todos dizendo que não vai da certo, de que não funciona, sabe muita coisa jogando contra. Estive pensando em esperar em divorciar, para depois pensar em assumir qualquer relacionamento. E depois venha a minha família, que demora a aceitar qualquer relacionamento que eu tenha, isso independente da idade da pessoa. Tem horas que nem sei o que fazer, eu sinto vontade de tentar, mas no mesmo ponto que só vejo criticas, eu e ele estamos conversando sobre assumir a relação ou não, e isso vem em um momento complicado da minha vida, já sinto até o que minha mãe vai dizer, não queria desaponta-la, mas ao mesmo ponto que queria viver, sabe não consigo explicar mas sinto que deveria tentar, mas não quero e escolher um lado, pois quero que pelo menos minha família, aceite, mesmo achando que estou tomando a decisão errada. Sai de um noivado com uma pessoa quase da minha idade, que me traiu. Não quero colocar minha família contra mim, por isso estou fazendo as coisas com muita calma, porque sei que estou pisando em ovos, e no primeiro problema, já que vou escutar a frase ”viu eu te falei”.
Chego nessa relação com a garantia de que pode dar tudo errado,e isso é muito estranho, e um sentimento diferente do que qualquer relacionamento que tive. Ainda estou muito confusa, sinceramente, tem dias que não sei o que fazer,se alguém sentir no coração a vontade de comentar eu agradeço,por que realmente tem sido difícil,essa minha nova fase.