奥様は風俗通い＝不貞行為という主張をされているのだろうと思います。

民法上の離婚原因として定める「不貞行為」は，配偶者以外の異性との性的関係」を言い，あなたのように風俗に言った場合でも，端的に言えばいわゆる本番行為があれば，不貞行為にあたると考える余地があります。

そこまでの行為なくとも風俗通いの頻度やその他の婚姻生活の内容によっては，「婚姻を継続しがたい重大な事由」と評価され，裁判において離婚請求が認容される可能性はあります。

いずれにせよ，あなたが離婚に応じない場合，奥様は離婚調停引いては離婚訴訟を提起する必要がありますからある程度の時間がかかります。

ですから，まずは，話し合ってみることです。あなたが離婚を拒否し修復を望む限りは，今すぐに離婚ということにはなりませんから。