Das ist je nach Sachlage unterschiedlich.
Liegt ein Fachrichtungswechsel vor?
Erstmal müsste geklärt werden, ob überhaupt ein Fachrichtungswechsel vorliegt oder ob es sich lediglich um eine Schwerpunktverlagerung handelt. Ich zitiere die Verwaltungsvorschriften:
§7.3.4 Kein Fachrichtungswechsel, sondern lediglich eine Schwerpunktverlagerung liegt vor, wenn
sich aus den entsprechenden Ausbildungsbestimmungen ergibt, daß die betroffenen Studiengänge bis zum Wechsel identisch sind, oder darin vorgeschrieben ist, daß die im zunächst durchgeführten Studiengang erbrachten Semester auf den anderen Studiengang voll angerechnet werden, oder der Auszubildende eine Bescheinigung der zuständigen Stelle vorlegt, in der bestätigt wird, daß die im zunächst durchgeführten Studiengang verbrachten Semester auf den anderen Studiengang im Einzelfall des Auszubildenden voll angerechnet werden._
Für Lehrämter gelten Sonderbedingungen…
Auch der Zeitpunkt lässt sich nicht immer so ohne weiteres bestimmen. Die Verwaltungsvorschriften zum BAföG sagen dazu: "Der Zeitpunkt des Abbruchs der Ausbildung oder des Wechsels der Fachrichtung ist anhand geeigneter Unterlagen festzustellen […].
Wenn ein Fachrichtungswechsel denn tatsächlich vorliegt, dürfte er aber spätestens mit Exmatrikulation aus dem alten Fach vorliegen. Sollte aber vorher schon sichtbar im alten Fach nicht mehr studiert worden sein, kann auch dies zu Rückforderungen führen…
Zu Vermeidung von Risiken und Nebenwirkungen würde ich eine BAföG-Beratung vor Ort empfehlen. Die bietet jede größere Uni an.