La haut bâtiment qui abrite le pigeonnier est contemporain du donjon. Ces niches, que l'on appelle des "boulins", sont taillées dans la paroi rocheuse. On y prélevait des oeufs ou des pigeonnaux au moyen d'une échelle.

Pendant toute la période féodale, les seigneurs laïcs ou ecclésiastiques, étaient pratiquement seuls à bénéficier du privilège de construire ou d'exploiter d'immenses pigeonniers.Ces pigeonniers pouvaient contenir jusqu'à 2000 boulins. Ce droit féodal qui provoquait de si grands dommages dans les cultures des paysans, a été aboli à la révolution. Les pigeons, très appréciés pour leur chair, étaient aussi utilisés occasionnellement comme messagers, une tradition qui remonte à l'antiquité.

L'arc en plein cintre dressé devant la façade est une construction récente qui ne fait pas partie du bâtiment médiéval.

A gauche du pigeonnier, on voit les vestiges d'une maison villageoise qui s'élevait sur plusieurs étages. Elle date probablement de la fin du Moyen Age ou de la Renaissance. Au XIXème siècle, l'activité des carriers qui exploitaient la roche en contrebas, a provoqué l'effondrement d'un partie de la maison.