お互い割り切って始めたW不倫でしたが、だんだん気持ちが彼の方に傾いてきてしまいました。

W不倫経験者です。
結論から言うと、離婚はしないほうがいいと思います。
私の場合は夫が毎日仕事で忙しく帰りも遅かったので、すれ違いの寂しさから不倫に走ってしまいました。
不倫相手は職場の同僚で、関係を始めた頃はスリルと背徳感でお互いに盛り上がっていましたが、そのうちKAOさんのように彼の方に気持ちが傾いて離婚を考えるようになっていました。
彼の方も奥さんと別れると言ってくれましたし、その時はもう私には彼しかいないと思っていたので夫に離婚を申し出ました。
うちも子供がいない夫婦だったのであとは夫の気持ち次第でしたが、簡単にできると思っていた離婚が成立するまでは本当に大変でした。
しかも不倫相手は結局子供可愛さに離婚しなかったというオチつき。

今振り返ってみても、後悔ばかりしてしまいます。

W不倫の結末はドラマのように簡単にはいかないものです。
慰謝料を請求される可能性もあります。

ご主人と問題がないのであれば、不倫の恋と割り切って家庭を大事にしたほうがいいと思います。
私もそうするべきでした。今は後悔しています。

もし、KAOさんがどうしても不倫相手と一緒になりたい、この先の人生一人でも生きていける覚悟がある、というなら離婚すればいいと思います。
きつい言い方してすみませんが、後悔してほしくないので言わせてください。