不倫をしている人は周りにいますか？

不倫てどの程度の人がしているのでしょう。
職場や高校時代の友人など、私の周りには不倫をしている人がいます。
悪びれることもなく、当然のように話されると、私が引け目を感じてしまいます。「あなたってもてない」と言われているような気持ちになってしまうのです。
不倫がしたいとかではありませんが「つまらない生活してる」と指摘されると、心が痛みます。
不倫していないのに、堂々とできないって、おかしいでしょうか？