不倫相手に女！？嫉妬で狂いそう……。

不倫をしています。相手は年下。不倫なのに、嫉妬で狂いそうです。
私は結婚して５年。子どもはひとり。できちゃった婚です。
子どもは私の母がみています。夫の収入ではやっていけないので、共稼ぎ。産休をとり復帰しています。
そこで、彼と出会いました。彼は後輩で仕事を教えているうちに不倫になりました。
最近、彼にやたらと話しかける女性社員がいます。彼より年下の女性で、明らかに、彼を好きだというのがわかります。
私は結婚をしているし、不倫なので文句はいえません。でも、毎日が嫉妬で狂いそう。彼がその女性と話しているだけで、やりきれない思いでいっぱいになります。彼は、その女性のことを「なんとも思わない｣と言いますが、不安です。
いっそ、離婚をしてしまおうかと思うようになりました。
夫に非はありませんが、この気持ちを抑えることができないのです。
不倫はいけないことですが、離婚して再婚すれば認めてもらえるかと、最近はそのことで頭がいっぱいです。