Dienstwagen 0,03% Regelung

Hallo zusammen,

Ich habe diese Frage schon mal gestellt, konnte Sie aber nicht ergänzen, daher nochmal. Ich arbeite als Unternehmensberater.
Die Firma stellt mir einen Dienstwagen zur Verfügung.
Dieser wird mit der 1% Regel besteuert. Hinzu kommen die 0,03% je Kilometer von meinem Haus zur Arbeit. Dies sind bei mir ca. 23 km.

Der geldwerter Vorteil (1%) sowie die Enfernung zur 1. Arbeitstätte werden mir monatlich von meinem Gehalt abgezogen.

Nun meine Frage:

1. 

Wie ist es zu handhaben, wenn man das Büro tatsächlich nur 10-15 mal im Jahr aufsuche? Muss man dann trotzdem die 0,03% versteuern?
Der Arbeitgeber zieht die 23 km als Berechnungsgrundlage. Gleichzeitig habe gibt es Fälle von einigen Kollegen die am Ende des Jahres das Finanzamt davon überzeugen, dass Sie das Büro nur wenige Male aufgesucht haben. Somit bekommen Sie rückwirkend, im Rahmen der LS-Erklärung den zuviel gezahlten Betrag bzgl. der Entfernung zur 1. Arbeitsstätte (0,03% Regelung) wieder erstattet.

Bei der Steuerklärung wurde darauf hingewiesen, dass nur10-15 im Jahr die Arbeitsstätte aufgesucht wurde. Ich habe sogar explizit auf das § 9 EStG, Absatz 4 hingewiesen.

Das Finanzamt akzeptiert die Wohnung als 1. Arbeitsstätte jedoch nicht an. Sie beruft sich auf meinen AG. „Aus der Regelung der Nutzung Ihres DW geht hervor, dass Ihr AG Ihr Büro in Stuttgart als 1. Arbeitsstäte zugeordnet hat. Diese Entscheidung ist maßgebend.“

Wie seht ihr das? Habe man eine Chance das anzufechten und recht zu bekommen? Es ist tatsächlich so, dass das Auto meistens von meiner Frau bewegt wird und ich mit den Öffentlichen zu Kundenterminen fahre und meist erst am Do. wieder nach Hause komme.

Ich freue mich auf die Antworten und sage schonmal vorab Danke für eure Zeit!

Grüße
Q.