A proximité des escaliers se trouve l’accès aux vestiges de la Tour Romaine dite Neptune, mise au jour en 1948. Ces tours circulaires et pleines sont construites sur une assise solide constituées de grosses pierres sculptées provenant de monuments romains démantelés. La tour Neptune doit son nom à un fragment de monument funéraire encore en place dans sa fondation et représentant le dieu Neptune. Elle est la sœur jumelle de la Tour Jupiter visible à l’extrémité de la rue du Marché au Beurre. Un petit détour permet de la découvrir.