Λόγω των Ολυμπιακών Αγώνων του 2004 ο χώρος αναπλάθεται πλήρως και δημιουργούνται Ολυμπιακές εγκαταστάσεις με κυριότερη την κατασκευή Ναυταθλητικού Λιμένα. Οι εγκαταστάσεις του Συλλόγου κατεδαφίζονται και ο Σύλλογος φιλοξενείται προσωρινά σε χερσαίο χώρο στο Μικρολίμανο και στον λιμενίσκο του ΣΕΦ. Η πολιτεία με τον νόμο …….. δίνει στον Σύλλογο το δικαίωμα επανεγκατάστασης στον φυσικό του χώρο μετά το τέλος των Ολυμπιακών Αγόνων, δηλαδή στην Ναυταθλητική Μαρίνα Καλλιθέας .