Deberías pensar que quizá como bien dices son temores que tienes sin ninguna razón probable. Es normal que en tu estado tengas miedo y temores, pero deberías esperar a ver lo que hace tu pareja, sinceramente creo que si es buen padre con su hija, al tener otro va a ser igual de responsable.
Aunque la madre de su hija sea un desastre y tenga que ejercer por dos, probablemente no sea una razón que le haga no priorizar a vuestro hijo, de hecho cuando tenga ambos lo más normal es que no priorice a ninguno por delante del otro, ya que ambos son sus hijos. Quizá es verdad que haya cosas de las que tenga que responsabilizarse más de su hija, ya que como bien dices parece que solo ejerce de padre él en algunas ocasiones, con vuestro hijo eso no le va a pasar ya que estáis ambos, pero sinceramente no creo que deje que tú hagas más que él por el hecho de tener que ocuparse más de su hija.
Espero de verdad que al nacer vuestro hijo no tengas ese problema, intenta pensar lo mejor de tu pareja por el momento. Si ha demostrado ser un buen padre con su hija, seguro que con el vuestro también.