肉体関係がなくても不倫？シングルマザーの恋

シングルマザーです。夫は病気で他界し、５年が経ちました。子どもは春から中学生になります。
もう恋などしないと頑張ってきました。なのに、最近、心揺れることがあり、自分でも驚いています。
相手は既婚者であり、家庭を壊すことは考えていません。
でも、今の私には彼の存在が支えになっています。
もちろん、子どもには話していません。
不倫の関係ではありませんが、日々のこと、子どものことなどを話す関係。
時々の食事。それが楽しみですが、やはりこのような付き合いはやめたほうがいいのか悩みます。肉体関係がなくてもこれは不倫と思われてしまうかもしれないですよね。
けれど、会えなくなって支えをなくしたらと思うと怖いです。