Το γυμνάσιο της Ολυμπίας αναπτύσσεται στον επίπεδο χώρο έξω από τη βορειοδυτική γωνία της Άλτεως, δίπλα στην κοίτη του ποταμού Κλαδέου. Μαζί με την παλαίστρα, που βρίσκεται ακριβώς στη συνέχειά του προς νότο, εξυπηρετούσαν τις ανάγκες των αθλητών και των συνοδών τους, αλλά μόνο κατά την περίοδο διεξαγωγής των Ολυμπιακών αγώνων, αφού η προετοιμασία των αθλητών γινόταν στα γυμνάσια της Ήλιδας.
Το συγκρότημα διαμορφώθηκε σταδιακά, στα ελληνιστικά χρόνια, και η σημερινή μορφή του χρονολογείται στον 2ο αι. π.Χ. Φαίνεται πως αποτελούσε αμιγώς αθλητικό οικοδόμημα, αφού οι εγκαταστάσεις του δε χρησιμοποιούνταν για άλλες εκπαιδευτικές δραστηριότητες. Το γυμνάσιο κάλυπτε ορθογώνιο χώρο διαστάσεων 220 x 120 μ., ο οποίος ήταν υπαίθριος και περιβαλλόταν από στοές στις τέσσερις πλευρές του. Οι τοίχοι του ήταν κατασκευασμένοι από πωρόλιθο στα κατώτερα τμήματα και από πλίνθους στα ανώτερα, ενώ η στέγη του ήταν από κεραμίδια. Οι αρχαιολογικές ανασκαφές δεν έχουν αποκαλύψει ολόκληρο το συγκρότημα, καθώς η αλλαγή της κοίτης του ποταμού Κλαδέου, κατά τους μεσαιωνικούς χρόνους, κατέστρεψε το δυτικό τμήμα του. Σήμερα σώζονται μόνο η ανατολική και η νότια στοά, καθώς και ένα τμήμα από τη μεγάλη υπαίθρια αυλή.
Στο εσωτερικό των στοών πρέπει να υπήρχαν πολλοί από τους ανδριάντες των ολυμπιονικών, καθώς και αρκετά από τα αναθήματα, που είχαν αφιερώσει στην Ολυμπία. Στην ανατολική στοά, μήκους 212 μ. και πλάτους 11,65 μ., βρισκόταν ο ξυστός και η παραδρομίδα. Η προπόνηση των δρομέων διεξαγόταν τις περισσότερες φορές στην παραδρομίδα, ενώ στον ξυστό ασκούνταν μόνο όταν δεν το επέτρεπαν οι καιρικές συνθήκες. Η στοά διέθετε διπλή δωρική κιονοστοιχία με 60 κίονες στην πρόσοψη και 66 στο εσωτερικό. Το καθαρό μήκος του ξυστού ήταν ανάλογο με του σταδίου της Ολυμπίας, δηλαδή 192,27 μ. Στο εσωτερικό αυτής της στοάς, στο ύψος του τρίτου από τα νότια εσωτερικού κίονα, βρέθηκαν δύο αφέσεις που φέρουν δύο παράλληλες αυλακώσεις, όπως οι βαλβίδες του σταδίου.
Η νότια στοά σώζεται στο μεγαλύτερο τμήμα της. Χρησίμευε για τον διαχωρισμό του γυμνασίου και της παλαίστρας και, παράλληλα, λειτουργούσε ως ενδιάμεσος χώρος μεταξύ των δύο μνημείων. Είχε πιθανόν μια ιωνική κιονοστοιχία στην πρόσοψη. Η δυτική στοά παρασύρθηκε από τις πλημμύρες του Κλαδέου, αλλά σύμφωνα με την παράδοση ήταν διώροφη και στέγαζε τα καταλύματα των αθλητών και των προπονητών τους. Η βόρεια στοά δεν έχει ακόμη ανασκαφεί. Η μεγάλη υπαίθρια αυλή εξυπηρετούσε τις ανάγκες των ελαφρών αγωνισμάτων, κυρίως των ακοντιστών και των δισκοβόλων.
Στη νοτιοανατολική γωνία του συγκροτήματος κτίστηκε, στο τέλος του 2ου αι. π.Χ., ένα μνημειακό πρόπυλο, που βρισκόταν ακριβώς απέναντι από τη βόρεια είσοδο της Άλτεως και εξασφάλιζε την είσοδο στο γυμνάσιο. Ήταν κατασκευασμένο από ασβεστόλιθο και είχε διαστάσεις 9,81 x 15,50 μ. Πρόκειται για οικοδόμημα κορινθιακού ρυθμού, αμφιπρόστυλο, με τέσσερις κίονες σε καθεμία από τις δύο προσόψεις του και με διπλή σειρά πέντε κιόνων στο εσωτερικό του, που το διαιρούσαν σε τρία κλίτη. Το κεντρικό κλίτος ήταν μεγαλύτερο σε πλάτος από τα πλαϊνά (3,40 μ. έναντι 2,29 μ.), όπως και στα Προπύλαια της Ακρόπολης των Αθηνών, που φαίνεται ότι χρησίμευσαν ως πρότυπο. Οι τοίχοι των μακρών πλευρών του κτιρίου κατέληγαν σε ημικίονες, ενώ στο μέσο τους, στο σημείο όπου συναντώνταν με τις θύρες, υπήρχαν επίσης ημικίονες. Οι κίονες είχαν ύψος 6,50 μ. Τα κορινθιακά κιονόκρανα που τους στεφάνωναν είχαν κάτω από τις έλικες δύο δακτυλίους από φύλλα ακάνθου. Το επιστύλιο του προπύλου έφερε τη συνήθη διαίρεση σε τρεις οριζόντιες ταινίες, οι οποίες στέφονταν από τονισμένο κυμάτιο. Πάνω από το επιστύλιο, η ζωφόρος ήταν διακοσμημένη με ανάγλυφα ανθέμια και βουκράνια, εναλλάξ. Το γείσο έφερε στο κάτω μέρος του προμόχθους (οριζόντιες λεπτές πλάκες), ενώ η σίμη έφερε κατά διαστήματα κρουνούς, ίσως με τη μορφή άνθους ή λεοντοκεφαλής, για την απομάκρυνση των νερών της στέγης. Πάνω από το γείσο οι προσόψεις κοσμούνταν από αετώματα.
