Zwei-Faktor-Authentisierung (2FA) mit Yubikey durch alle User

Zwei-Faktor-Authentisierung (2FA) / Zwei-Faktor-Authentifizierung mit Yubikey durch alle User

Moin,
für eine Zwei-Faktor-Authentisierung verwende ich einen Yubikey USB-Token ( Yubico Yubikey 4/5 U2F). Verwende ich an meinem Debian 12 eine grafische Oberfläche (TDE), dann funktioniert das nur für den dort angemeldeten User.
Allerdings benutze ich manchmal auch „auf die schnelle“ andere User. Per Konsole und su Benutzter gewechselt, vorher mit xhost den grafischen Zugriff erlaubt und dann zB firefox benutzt um irgendwo einzuloggen.
Das geht aber nicht, weil dieser Benutzer dann nicht auf den Dongle zugreifen kann. Geht das evtl mit einem kleinen, handlichen Trick?

Dank und VG
J~