UTF-8 で BOM は必要ないかというと、実は、UTF-8 の BOM 無しが必ずしも正しく検出できるわけではないのです。例えば、UTF-8 ではアクセント付き欧文文字が、Shift-JIS だと日本語や記号として表現できる場合があります。そこで、EmEditor のマクロでは、そのようなあいまいさをなくすため、マクロの仕様として、UTF-16LE (BOM付き) を推奨していますが、便宜上 UTF-8 (BOM付き) やシステム既定エンコードでも可能になっています。UTF-8 (BOM無し) だと、他のエンコードと区別が付かないことがあるため、おすすめしません。
ファイルを開くで、既存のファイルが存在しない場合の動作についてですが、この場合は、該当する設定のプロパティの [ファイル] タブの設定になると思います 。こちらも確認してみてください。