S-0491、用途変更について教えてください（群馬県）

用途変更について教えてください。
中古住宅を購入し一部を介護保険事業所で利用予定です。役所で用途変更するよう指導されましたが、業者からは事業所のスペースが狭く、物販等の目的でもなく、常時お客さんが出入りするものではないので申請の必要はないのではないか、と言われました。
住宅は昭和６０年築、木造２階建て。床面積１２８m2。地目は宅地。用途地域は無指定。都市計画は調整。国土法提出は不要となっています。
購入後の予定は、一部を介護保険事業所（正確には居宅介護支援事業所）として利用の為リフォーム予定。建具やトイレの増設はしますが、面積等に影響の出るいわゆる増築や柱を抜くような構造の変更はありません。事業所としての面積はおよそ２３．２m2です。
役所で言われたのは、建築物の新築、改築若しくは用途の変更又は第一種特定工作物の新設許可申請書、というものを渡され、必要図書を添付して提出するよう言われました。
何方かご指導頂けると助かります。