財布を届けてくれた女子社員に、俺「あれ？1万足りない。盗んだ？」と冗談を言ったら、職場で孤立してしまった。

32歳男。

今はずっと職場の人間関係は可もなく不可もなくっていう感じだったんですが

他愛もないことが原因で職場で孤立しはじめました。

同じ部署のOL「○○さん財布落としましたよ」

俺　「何でわかったの？」

OL「ピカチュウのキーホルダーかばんと財布どっちにも付けてるからもしかしたらって思って」

俺「あんがと（がま口を開いて中身を確認）あれ？1万円入ってたんだけど、もしかして盗んだ？」

OL「はぁ？知りませんよ。てか善意で届けたのに盗んだとかひどくないですか？」

俺「冗談だよ。1万なんか最初から入ってないし。ありがとね」

みたいな冗談交わした会話だったのに、なんかそれからOL連中が私の仕事手伝ってくれなかったり

私にだけお茶入れてくれなくなりました

その人一人だけじゃなくて、みんなから冷たくされるので辛いです。

どうすれば仲直りできるでしょうか