はじめまして。
私でDBをCREATEしてみたところ、発行したコマンドの内容で文字セットを設定できました。1か月ほど前に作成したAzure Database for PostgreSQL フレキシブル サーバにて試しています。新しいサーバで試すと問題なく設定できるかもしれません(以下コマンドは私で試したもの、OwnerはデフォルトのinfrapostgresAdminです)。
create database test01 encoding='UTF8' lc_collate='ja_JP.UTF8' lc_ctype='ja_JP.UTF8' template='template0';