L'abbaye Saint-Victor a pour origine un monastère fondé par Jean Cassien au V° siècle, situé sur le site d'une ancienne carrière et d'une nécropole antique et médiévale. Le monastère fut fortifié avec des tours crénelées au XIV° siècle par le pape Urbain V.
Aujourd'hui ne subsiste plus que l'église suite aux destructions qui se produisirent pendant la Révolution et sous l'Empire.
Dans la crypte, vous pourrez découvrir les vestiges des lieux, ainsi que notamment un ensemble de sarcophages.
Tous les ans, à la Chandeleur, une procession est organisée avec la vierge noire polychrome sculptée dans un bois de noyer qui est sortie de la crypte. Les fidèles suivent en portant un cierge vert. La procession passe par le "Four des Navettes" dont les biscuits, les navettes, sont bénis par l'archevêque.
Depuis le parvis de l'abbaye, la vue est magnifique sur le Vieux-Port et le fort Saint-Jean.