Außer eines Fritzbox-Benutzers, der, wie ich vermute, "alle Einstellungen der FRITZ!Box sehen und bearbeiten" darf, musst Du in der Fritzbox nichts einrichten.
CardDav wird doch durch eine Webanwendung verwaltet, demnach sind es natürlich die üblichen Ports für http/https. Aber wenn die Ports...