Puy l'Evêque marque la fin de la traversée du causse par le Lot.

Le bourg s'est établi sur les pentes de l'isthme d'un méandre du Lot.

Il étage ses vieux quartiers du haut de sa petite colline jusqu'aux berges de la rivière.

Il s'est développé de part et d'autre d'un vallon sec. Il s'appuie à ses deux extrémités sur deux points fortifiés, le donjon seigneurial et l'église.

Le donjon épiscopal domine la ville. Il s'impose par sa hauteur avoisinant les 23 m et offre trois étages aux pièces voûtées.