Sport de démonstration en 1896 lors des premières Olympiades à Athènes jusqu'en 1904 à Saint-Louis, le tournoi olympique était disputé par des équipes nationales sélectionnées et des clubs locaux sur des matchs d'exhibition avec un format précaire.
À partir de 1908, des éliminatoires sont mis en place et le football est alors considéré comme discipline olympique. Seules les nations européennes y participèrent jusqu'en 1924 (seule exception fut l'Égypte en 1920). En 1924, des nations sud-américaines font leurs apparitions et dominèrent alors le tournoi en 1924 et 1928 avec la victoire de l'Uruguay. En 1932, il n'y a pas eu de tournoi à Los Angeles en raison du peu de succès de ce sport en Amérique du Nord, mais en 1936 le football refait son apparition à Berlin avec la victoire de l'Italie. Les années 1930 a marqué un changement radical dans le statut du football olympique en raison de l'arrivée du professionnalisme dans les grandes nations de football (Angleterre, France, Italie, Espagne, Brésil, Argentine ou Uruguay) et de la mise en place d'une autre compétition internationale depuis 1930 : la Coupe du monde. Après la Seconde Guerre mondiale et cela jusqu'en 1980, seules les équipes amateurs de Scandinavie et les équipes d'Europe de l'Est participèrent au tournoi (victoire de la Suède en 1948, de la Hongrie en 1952, 1964, 1968, de l'Union soviétique en 1956, de la Yougoslavie en 1960, de la Pologne en 1972, de l'Allemagne de l'Est en 1976 et de la Tchécoslovaquie en 1980) avant que la FIFA décida de sanctionner les joueurs ayant pris part aux qualifications de la coupe du monde après avoir disputé des Jeux Olympiques.
À partir de 1980, le tournoi subit trois principaux changements : Tout d'abord le développement de ce sport sur les continents asiatiques et africains où les JO sont très médiatisés, ensuite devant le succès des JO de 1984 à Los Angeles (victoire de la France) et des JO de 1988 à Séoul (victoire de l'Union soviétique), la FIFA en 1992 décida d'élargir la participation des joueurs amateurs à tous joueurs de moins de 23 ans (avec possibilité d'appeler 3 joueurs de plus de 23 ans), enfin les victoires des nations africaines en 1996 (avec le Nigeria) et 2000 (avec le Cameroun) permit au tournoi olympique d'accroître son intérêt.
En 1996, un tournoi féminin fut mis en place à Atlanta, contrairement aux hommes, toute joueuse peut y prendre part quelquesoit l'âge, les américaines ont remporté l'épreuve en 1996 et 2004 et les norvégiennes en 2000.