Klassischer Fall von rubber duck debugging: Kaum frage ich hier, finde ich selber eine Lösung. :)
Unter "Heimnetz" -> "Netzwerk" kann man Einstellungen für die individuellen Netzwerkgeräte tätigen. Dort kann man dann mit den Button "Zurücksetzen" das ganze Geräte aus der Fritz!Box löschen...