可能です。
アクションルールにて各ルールをスコープ内にし、
抑制の設定をいただくことで指定の時間に監視ルールが無効化されます。

1．AzureMonitor選択後、左のメニューから[アラート]を選択し、[アラートルールの管理]へ移動する

2．[アクションの管理]を選択

3．[アクションルール]を選択後、[新しいアクションルール]を選択

4．監視ルールの無効化/有効化を適用したいリソース、もしくはリソースグループもしくはサブスクリプションを選択後、任意のスケジュールを設定する