TeX Gyre Herosをサンセリフ体として使う

[xerroxcopy]

% \usepackage{libertinus}
\usepackage{tgheros} % latin, sans serif
\usepackage[T1]{fontenc}

libertinusだとうまくいくのだが、tgherosだと変わらず、サンセリフ体があたるところがCMU Serifにフォールバックしてしまう。

[xerroxcopy]

Libertinus sansはOTF or TTF availableとなっているのに対し、TeX Gyre Herosはそうなっていないのが問題か？

[xerroxcopy]

\usepackage{amsmath, amssymb}
\usepackage{luatexja-fontspec}
\setsansfont[Ligatures=TeX]{TeXGyreHeros}
\setmainfont[Ligatures=TeX]{TeXGyrePagella}
\setmonofont{FiraMono}
\setmainjfont[BoldFont=HaranoAjiMincho-Bold]{HaranoAjiMincho-Regular}
\setsansjfont{HaranoAjiGothic-Medium}
\newjfontfamily\jisninety[CJKShape=JIS1990]{HaranoAjiMincho-Regular}
\usepackage{newpxmath}