Das ist kein Fritzbox spezifisches Problem, sondern ein Wireguard spezifisches Problem.
Wenn man Google bemüht, dann findet man dazu recht viele Beiträge. Den DNS lookup macht Wireguard leider nur beim Start. Danach leider nicht mehr. Wenn die IP auf der anderen Seite geändert wird, dann bekommt...