初めまして、行政書士のＳＵＰＥＲＴＯＮＴＯＮでございます。それは大変お悩みのことと思います。ご心痛お察し申し上げます。お話から、ご不明の部分もございますが、分かる範囲でご回答致します。まず、離婚理由は、ご相談者様としては、性格の不一致が理由のようですが、不貞行為があるということで、そこは問題となります。不貞行為などの有責性がある配偶者からの離婚要請は原則出来ません。ただし、例外はあります。長期の別居実績などです。ただし、今回は、ご主人様が離婚を考えているのであれば、協議離婚には問題はありません。それと、親権に関しては、不貞行為が離婚理由の場合、何ら影響はありません。あくまで、お子様に対して虐待（ＤＶやネグレクト等）が無ければ、母性優先で、特に小さい子はそうなります。お話からは、すぐに離婚できず、お子様が小学生になったらとか言っていると、次は、中学生になったらと次々延ばされるだけですので、早目に結論を出した方が良いでしょう。純粋にお子様のことを考えれば、離婚しない方が良い場合も多く、あくまで離婚は、夫婦の問題と考えた方が良いでしょう。離婚調停になれば、ご相談者様が親権を取る確率が高いので、思い切って家庭裁判所の調停を申立てると言うのもあります。