ダイエット中のママ友との付き合い方

ダイエット中のママ友に付き合うのが疲れます。
性格は悪くないし話も楽しいのですが、ダイエット中というのでランチに行っても、ドリンクだけ。
なんかこちらが食べるのが悪い気がして、違うママ友たちとランチに行ったら「どうして誘ってくれなかったの」と言われました。
割り切って付き合えばいいのだろうけど。
会話でもおいしいスイーツのこと話したり、お菓子を食べようとすると「カロリー高そう。太るよ」といってきます。
私はダイエットしてないから、と言うんですが「気にした方がいいよ」なんて言われてショックでした。
ちなみに、私はちょっぴりぽっちゃりかもしれないけど、ダイエットする気はありません。ママ友は、かなり細身。
せっかく仲良くなったママ友ですが、最近疲れてしまうのです。
こんな経験ある人いますか？
ダイエット中の友達って、付き合いにくくないですか？

私もダイエットすべきなのかな？