Pantheon er viet til "alle guder" (Pan - theos). Romerne var et praktisk folk, og med et tempel med en sådan adresse ville de være sikre på, at ingen gud ville føle sig glemt. Templet blev bygget af konsul Agrippa - svigersøn af kejser Augustus - i år 27. før Kristus. Det var et minde om sejren ved Actium over Antoni og Cleopatra .

Over templet står inskriptionen "Marcus Agrippa, søn af Lucius og konsul for tredie gang, byggede det". Allerede omkring år 128 efter Kristus måtte det delvist genopføres. Dette skete under kejser Hadrian, som personligt skulle have udfærdiget tegninger, hvilket han ofte gjorde til sine bygninger. Med klædelig - og vanlig - beskedenhed bibeholdt han overskriften, men Hadrians segl ses flere steder.

Indtil 1960 var det den største 'fritsvævende' kuppel i verden. I virkeligheden skulle der gå ca. 1.500 år, inden dristige arkitekter i Firenze og Siena forsøgte sig med tilsvarende kupler. En stor hyldest til antikkens romerske arkitekter og ingeniører. Da Bramante designede Peterskirken, ville han lave sin kuppel som en eksakt kopi af Pantheon. Gulvet, som skråner lidt udad mod en rende, som skal opfange evt. regnvand, er lavet i smukt marmor. 

Oprindelig var den smukke kuppel beklædt med bronce. Bernini  overtalte paven til at lade ham få broncen til bygning af Peterskirken. Det siges, at der oven i købet var bronce nok til at støbe 60 kanoner og et par mindre spir på Hadrians kuppel. Folkeviddet døbte dem Berninis æselører. Æselørene blev fjernet i 1883.  

I år 608 blev Pantheon konverteret til en kristen kirke, viet til Jomfru Maria og alle kristne martyrer. Det var det første tempel i Rom, som fik denne skæbne. Mange knogler fra martyrer blev overført til Pantheon fra katakomberne. Man har også forsøgt at lave et mere verdsligt Pantheon, hvor nationens store sønner og døtre skulle begraves. Det har ikke rigtigt slået an, men Raphael, kong Vittorio Emanuele I og kong Umberto I ligger i sidekapellerne. Som et lille plaster på såret er Umbertos gravmæle delvist udført af bronce, som blev til overs fra baldakinen i Peterskirken. Det var også meningen, at Michelangelo skulle begraves i Pantheon. Imidlertid brød harmfulde borgere fra hans hjemby Firenze ind i kirken om natten og bortførte liget. Michelangelos grav kan ses i Firenze, så historien kan således godt være sand.