L'abbazia di Saint-Philbert venne edificata sul luogo ove esisteva già un altro edificio, dedicato a Saint-Valerien, martire qui decapitato nel 179 d.C. In questo spazio, i cristiani si riunivano clandestinamente. A testimonianza di ciò, nella cripta si prova un sarcofago paleocristiano.
Nel IV secolo, vi era un oratorio, mentre nel VI un santuario con annessa comunità monastica fondato da Gontrano, re di Borgogna, e finito in seguito sotto la sfera di influenza di un grande rinnovatore della vita monastica come San Colombano (VII secolo). I Saraceni lo distrussero nel 731, ma venne riedificato.
Nell'875, Carlo il Calvo lo diede in dono, con il villaggio di Tournus, ai monaci dell'abbazia di Saint-Philbert di Normontier (Normandia), qui fuggiti dai pirati che invasero i loro territori nell'836.
Un secolo dopo, nel 936, un'altra invasione, stavolta degli Ungari, distrusse l'abbazia.
Nel 960, fu eletto l'abate Etienne, considerato il primo vero ricostruttore dell'abbazia, e nel 979 le reliquie di Saint-Valerien furono collocate in cripta.
Dopo questo periodo, le vari sovrapposizioni sono leggibili nell'opera che ci è stata tramandata. Il nartece (1028-56), le volte centrali (fine XI secolo-inizio XII) e altri particolari.
Si tratta di un edificio complesso, che nell'insieme dà un'impressione di fortezza. Le pietre ocra e rosa, bellissime, vengono dai dintorni. La facciata appare divisa verticalmente e orizzontalmente in tre parti, con muratura a fascia lombarda e arcatelle nella parte inferiore scandite con regolarità e divise tra loro da paraste. La torre nord risulta incompiuta (e non vi è traccia di una distruzione), mentre l'altra ha negli ultimi due piani due stupende coppie di bifore e tre monofore, motivo ripetuto in parte anche nella torre d'incrocio del transetto (tutte e due della metà del secolo XII). Da notare che il corpo della facciata appare avanzato rispetto al resto dell'esterno.
Entrando, si è sorpresi dalla presenta di un ambiente esterno, databile agli inizi del secolo XI, che precede l'ingresso vero e proprio e che fa da nartece. I forti e tozzi pilastri privi di capitelli servono a controbilanciare l'enorme peso delle due torri e dell'ambiente al secondo piano della torre sud, con i suoi pilastri ancora più bassi e tozzi e la campata, e le paraste che partono dalla sommità del pilastro con doppi archi a tutto sesto. Qui si trovano eccezionali testimonianze di scultura preromanica, specialmente nell'arco addossato alla parete centrale, su cui si trova quasi addossato l'organo. Alla base dell'arco, tra l'altro, la figura di un uomo barbuto con scalpello (fine secolo XI), collegata dalla critica ad un'iscrizione coeva sita in questo stesso ambiente in cui si parla di un certo Gerlamus. Qui sotto, il suo presunto autoritratto.
Sotto, la cappella dove si trovano i rilievi, posta al primo piano.
Se fosse vero, sarebbe il primo volto d'artista (e autoritratto) a noi giunto.
Venendo all'interno vero e proprio, la navata centrale è divisa in cinque arcate da stupende colonne rotonde, con semicolonne nelle campate intervallate da finestre e volte a crocera con doppio arco.
Come quella centrale, anche le navate laterali sono piuttosto alte. La chiesa è del tipo "a sala", con cleristorio e deambulatoio e transetto e coro più bassi. Quest'ultimo ricorda la cripta per il deambulatorio e le cinque cappelle radiali, sovrapposte a quelle della cripta. Qui si trovava la reliqua della testa di Saint-Philbert, rubata nel 1999. Proprio qui venne ritrovato nel 2002 un interessante pavimento a mosaico del secolo XII con i lavori dei mesi.
La cripta è l'ambiente più antico (X secolo). Vi si accedeva da due scale, concepite peer favorire un percorso processionale a senso unico, per questo scopo furono concepiti i tanti spazi contigui ad essa e ben strutturati. I muri, all'esterno, presentano pietre piccole, assemblate con molta malta. Vi si rintracciano facilmente pietre reimpiegate da edifici romani e paleocristiani, messe in opus spipcatum (a spina di pesce). L'interno è voltato a botte, e in mezzo si nota una sala centrale a tre navate (anch'essa con volte a botte), con due file di cinque colonne (alcune a coppia, romane, altre cilindriche del sec. X), capitelli di riuso da opere romane e muri portanti di supporto. Questa sala è aperta sul deambulatorio, che la circonda con le sue cinque porte.
A ovest, un pozzo profondissimo, da cui la comunità estraeva l'acqua per i bisogni quotidiani e quelli liturgici. Vi è pure un corridoio inferiore con quattro vani, che, ad est, dà accesso a tre cappelle radiali rettangolari ad abside piatta, voltate e con finestre assiali, su cui si trova un sarcofago paleocristiano tradizionalmente collegato a Saint-Valerien
