Nach dem Tod von Alix, der letzten Fürstin von Les Baux, wurde die Burg im Jahr 1426 an die Grafschaft Provence angegliedert. Darauf folgte eine unruhige Zeit zwischen Unabhängigkeitsbestrebungen, Aufständen und der Angliederung an das Königreich Frankreich.

Aus dieser Epoche sind uns einige Überreste erhalten geblieben wie die des Castrum des Bringasses, eine Befestigung, von der aus Les Baux belagert wurde.

Nach dem Tod der letzten Fürstin von Les Baux im späten Mittelalter ging die Burg erst in die Grafen-, dann in die Krondomäne über.

Ihre Wohngebäude wurden zum Teil wieder aufgebaut und eine neue Festungsmauer errichtet: Für die Stadt brachen goldene Zeiten an … Die jedoch nicht von Dauer waren!

Die Burg wurde erneut von Unruhen heimgesucht. Deshalb beschloss König Ludwig XIII., endlich Ordnung und Ruhe in die Region zu bringen, und entsandte seinen mächtigen Minister Richelieu.

Die Stadt hielt der Belagerung nicht lange Stand und fiel. Die Festungsmauern wurden niedergerissen, die Stadt verlor ihre militärische Bedeutung und begann ihren langsamen, aber steten Niedergang. Nach und nach verließen die Menschen das steil abfallende Felsplateau, um sich in der Ebene anzusiedeln. Die „Unterstadt“ entstand.

Am Ende des 19. Jahrhunderts zählte Les Baux nur noch 400 Einwohner, gegenüber 3000 im 13. Jahrhundert.

Erst nach dem Ende des Zweiten Weltkriegs erlebte das Dorf einen neuen Aufschwung.