Vlak bij de trap bevindt zich de toegang tot de restanten van de Romeinse toren, ook wel Neptunustoren genoemd, die in 1948 werd blootgelegd. De ronde, massieve torens waren gebouwd op een solide fundering van grote, bewerkte stenen die afkomstig waren van ontmantelde Romeinse monumenten. De Neptunustoren dankt zijn naam aan een fragment van een grafmonument dat nog steeds in de fundering zit en de god Neptunus voorstelt. Ze is de tweeling van de Jupitertoren, die te zien is vanaf het einde van de Rue du Marché au Beurre. Met een korte omweg kunt u deze ontdekken.