Gibt es einen objektiven Grund, warum Du nicht LuaLaTeX verwenden möchtest? In den allermeisten Fällen und unter Voraussetzung einer aktuellen TeX-Installation hat die Verwendung von LuaLaTeX gegenüber XeLaTeX Vorteile. Es gibt einige, eher seltene Fälle, in denen man mit XeLaTeX besser fährt, aber die sind eher selten. Auch die Behauptung LuaLaTeX wäre generell langsamer, zu der ich früher einmal beigetragen habe, stimmt so schon lange nicht mehr. Wenn man beispielsweise pgfplots verwendet, kann es sehr viel schneller sein.
Und wenn wir schon bei den Gerüchten sind: Das Gerücht, polyglossia wäre mit XeLaTeX und LuaLaTeX besser als babel, stimmt auch schon lange nicht mehr. Das kann abhängig vom Dokument sogar ins genaue Gegenteil umschlagen. Außerdem wird babel weit aktiver gepflegt, so dass man im Fall eines Bug-Reports oder Feature-Requests beim Maintainer meist recht schnell Hilfe bekommt.
Achja: Wenn man will, dass alle OpenType- und Type-1-Fonts von TeX-Live zu Systemfonts werden, einfach eine Datei /etc/fonts/conf.d/00-texlive-2021.conf:
<?xml version='1.0'?>
<!DOCTYPE fontconfig SYSTEM 'fonts.dtd'>
<fontconfig>
<dir>/usr/local/texlive/2021/texmf-dist/fonts/opentype/</dir>
<dir>/usr/local/texlive/2021/texmf-dist/fonts/type1/</dir>
</fontconfig>
und eine Datei /etc/fonts/conf.d/00-texlive-local.conf:
<?xml version='1.0'?>
<!DOCTYPE fontconfig SYSTEM 'fonts.dtd'>
<fontconfig>
<dir>/usr/local/texlive/texmf-local/fonts/opentype/</dir>
<dir>/usr/local/texlive/texmf-local/fonts/type1/</dir>
</fontconfig>
anlegen und danach natürlich fc-cache laufen lassen. Allerdings spült einem das wirklich eine beträchtliche Anzahl zusätzlicher Fonts in die Fontverwaltung, was bei einigen Programmen erhebliche Auswirkungen auf das Laden des Font-Auswahl-Dialogs haben kann. Es kann daher sinnvoll sein, etwas dedizierter vorzugehen.
Und zum Schluss: Wenn ich bei einem Minimalbeispiel explizit %!TeX lualatex angebe, dann hat das meist einen Grund.