Mens han diskuterte spørsmålet om å holde III-olympiaden, bestemte Den internasjonale olympiske komité å organisere den på USAs territorium, siden dette landet viste gode resultater på de to foregående kampene. Opprinnelig ønsket de å holde OL i Chicago eller New York, men som et resultat falt valget på den lille havnebyen St. Louis.
III-OL i St. Louis, sammen med OL i Paris, ble holdt innenfor rammen av verdensutstillingen. Imidlertid betraktet den lokale ledelsen av utstillingen det ikke som en konkurrent, men tvert imot, på alle mulige måter prøvde å bruke spillene til egne reklameformål. I tillegg gjentok arrangørene noen av feilene fra sommer-OL 1900 i Paris. På grunn av tilknytning til verdensutstillingen ble konkurransene presset i bakgrunnen, og selve OL varte i nesten 5 måneder (1. juli - 23. november 1904). Mange konkurranser ble avholdt under ledelse av forskjellige profesjonelle organisasjoner, men til tross for dette ble de alle tildelt tittelen olympiske disipliner.
Ifølge IOC deltok 12 land i St. Louis Summer Games. Den eneste staten som deltok i konkurransen for første gang var Sør-Afrika. Sammenlignet med Paris-OL har antallet deltakende land sunket dramatisk. De 13 statene som deltok i Summer Paris Games klarte ikke å komme til St. Louis av økonomiske årsaker. Russland, som var i krig med Japan på den tiden, deltok ikke i konkurransen.
Totalt 651 personer deltok i sommer-OL III, inkludert 6 kvinner. De konkurrerte om 94 sett med priser i 18 idretter. Det mest tallrike var teamet i USA, de representerte 533 mennesker på spillene. I mange idretter (boksing, bryting, vannpolo, bueskyting og tennis) var det bare amerikanske idrettsutøvere som utførte, så spillene viste tydelig landets overlegenhet.
I St. Louis begynte de for første gang å tildele de tre, ikke to, idrettsutøverne som viste det beste resultatet. Hovedvinneren av konkurransen ble tildelt en gullmedalje; atleten som tok andreplassen - sølv; og tredjeplassen ble tildelt en bronsemedalje. Denne tradisjonen har overlevd til i dag.
I det uoffisielle lagarrangementet ble deltakerlandene posisjonert som følger: Jeg plasserer - USA (78 gull, 82 sølv, 78 bronsemedaljer), II plass - Tyskland (4 gull, 4 sølv, 5 bronsemedaljer), III plass - Cuba (4 gull, 2 sølv, 3 bronsemedaljer).
