会社の上司に告白されましたが、不倫する気がありません

先日の会社の飲み会で、告白されました。
私は夫も子供もいる、既婚です。相手（上司）はバツイチで、現在フリー。
「女性として見てもらえて、うれしい」とは思いつつ、
家庭も仕事も楽しく、不倫をする気は全くありません。

なかったこととして、スルーしても問題ないでしょうか？
直接断ったほうがいいものでしょうか？