Meu filho começou a não querer ficar mais comigo (pai), querendo voltar a mãe.

Olá, tenho dois filhos uma princesa de 8 anos, e um príncipe de 4 anos.
Meus filhos sempre passaram os fins de semanas alternados comigo. No período de férias, 50% para cada pai.
Nessa última férias, dos 50 dias, ficou dividido de 10 em 10 dias com cada pai, e 5 dias nos últimos dias para cada um.
Minha filha tem o desejo de voltar a morar comigo (pai). Meu filho menor, sempre morou com a mãe, já não demonstra isso.
Meu filho passou os primeiros 10 dias tudo bem , sem problema nenhum, passados os 10 dias da mãe, ele tem feito a maior "guerra" todo dia para voltar para a casa da mãe, de uma forma incontrolável, choros escandalosos, mantras infindáveis: eu quero ir pra casa da minha mãe!!! E dizendo toda hora que sente saudade dela, mesmo que ele tenha falado com ela, ... A mãe por sua vez, não colabora para fazer que a criança entenda que ela tem um tempo com o pais, e um tempo com a mãe... meu filho fica transtornado, busco diversos meios de fazê-lo acalmar, porém, se não fizer o que ele deseja na hora, ou der uma negativa pra ele, se frustra de uma forma que a violência nele impera, querendo bater em todo mundo, jogar tudo que vem pela frente, e tem sido um verdadeiro teste de paciência, tenho mantido o timbre de voz baixo, tenho chamado para conversar e ele não vem, não deixo ele só remoendo os pensamentos dele, tento conversar com ele para mudar de assunto. E mesmo assim, tem sido um drama todo dia, estamos no terceiro dia, e ele ainda nessa rusga. Existe um consenso entre o que vejo, e alguns familiares da minha ex-mulher, ela faz todas as vontades dele, permite tudo que ele quer, já na minha casa, sou incansável, corrijo quantas vezes forem necessárias, digo "não" várias vezes e, mantenho a posição, insisto e explico muitas vezes muitas coisas, e existe um entendimento de que: "na casa da mamãe eu posso tudo, já na casa do meu pai eu não posso nada!".