Hier wird nicht gesagt, wo die Brücke steht, sondern wohin sie führt, nämlich über die Elbe (= auf die andere Seite der Elbe, sie überquert sie.)
„über“ kann sowohl Ort als auch Richtung angeben. Ich kann mich über etwas befinden, aber auch über etwas (hinweg) bewegen.
Wenn ich einen Stein über den Fluss werfe, befindet er sich während des Fluges über dem Fluss.
Wenn ich über den Fluss springe und mitten während des Sprungs einen Stein werfe, dann werfe ich den Stein über dem Fluss (= während ich mich über dem Fluss befinde).
Das waren jetzt viele Ausführungen über das Wörtchen „über“
Dich verwirrt vermutlich die etwas knappe Formulierung, die man auch etwas ausführlicher wie folgt formulieren könnte: An der nahen Augustusbrücke, die über die Elbe führt, am Altstädter Brückenkopf, …
D.h. das ist eine Beschreibung der Brücke (die über die Elbe führt), und kein unmittelbarer Bestandteil der Beschreibung der Lage des Pegelhauses.