Klar, Du musst nur darauf achten, dass der kaskadenartig angeschlossene Router natürlich nicht per DSL am Internet angeschlossen ist, sondern über einen dafür vorgesehenen LAN-Anschluss. Bei Fritzboxen ist das immer LAN1 (bei mehreren Anschlüssen) und in den „Erweiterten Einstellungen“ (diese Ansicht muss zuvor erst mal aktiviert werden, sonst sind sie nicht sichtbar!) muss die Einstellung „Internetzugang über LAN 1“ unter „Zugangsdaten“ gewählt werden.
Und dann darf die Box natürlich nicht zusammen mit einer anderen als DHCP-Server fungieren, denn den darf es höchstens ein Mal im Netzwerk geben. Also abschalten! Wenn Du daneben nicht noch mit getrennten Subnetzen experimentierst, sondern einen üblichen Standard-Adressraum verwendest (den vom DHCP-Server vorgeschlagenen), sollte es keine weiteren Probleme geben. Geräte mit festen IPs (sofern vorhanden) müssen ggf. angepasst werden.
Übrigens: nicht jede DSL-Box unterstützt geschirmte Netzwerkkabel! (Ich hatte mal so eine, trotz 100 kB/s-Geschwindigkeit.) Bei längeren Kabeln (über 20 Meter) sollten Kabel mit einzeln abgeschirmten Adernpaaren verwendet werden, die Schirmung muss von der Box zuverlässig geerdet werden.