La porte fortifiée du château des Poitiers

Het kasteel van Poitiers, ook bekend als het kasteel van Diane de Poitiers, of Château de la Boisse, behoorde waarschijnlijk vanaf het begin toe aan de bisschoppen van Valence en vervolgens aan de Poitiers. Het interieur kan niet worden bezocht

Het kasteel werd in de 15e eeuw verkocht aan de eerste kroonprins, de toekomstige koning Lodewijk XI, maar na zijn dood werd het in goede staat teruggegeven aan Aymar de Poitiers-Saint-Vallier (grootvader van Diane de Poitiers). Dit is een van de vele residenties in de regio waar Diane de Poitiers verbleef, zoals gedocumenteerd in de gemeentelijke archieven (september 1565). Volgens de plaatselijke overlevering is ze hier in 1499 geboren, hoewel andere plaatsen in de Drôme en Ardèche ook aanspraak maken op de geboorteplaats van de gravin.
Hiervan bestaat geen schriftelijk bewijs. De oorspronkelijke constructie van dit kasteel aan het begin van de feodale periode bestond uit een vijfhoekige donjon, zoals te zien is op het plan uit 1698, gelegen op de plek van het stadspark. In 1277 werd dit bouwwerk de Oude Toren genoemd. Een tweede toren met een grote poort werd in de 13e eeuw gebouwd op initiatief van de familie Poitiers om de verdediging van het castrum te versterken. Vanaf 1292 stond het hele complex bekend als de Bistour (twee torens). Een hoge muur, die vandaag de dag nog steeds zichtbaar is, omsloot het hele complex. De stad werd ook omringd door een stadswal die werd afgesloten door vijf stadspoorten. Er zijn nog sporen van de vestingmuren over (La Puya,
boulevard des Remparts), de kraagstenen van de oude wachttoren, de machicoulis... In 1626, als gevolg van het edict van Lodewijk XIII dat de vernietiging voorstond van elke vesting die niet werd gebruikt voor de verdediging van het Koninkrijk, verloor het kasteel van Poitiers zijn torens en donjon. Door de eeuwen heen hebben de monumentale poort, de bijgebouwen, de Tour des Balistes (kruisboogtoren), het koetsiershuis en de stallen de tand des tijds doorstaan. Deze ruïne werd geleidelijk gebruikt als steengroeve, waaruit de meeste huizen in het dorp werden gebouwd.
De ruïnes van het kasteel werden bijna in hun geheel gekocht door Honoré Laurent de Parisot de Durant de la Boisse. Hij restaureerde en ontwikkelde het onderste deel van de oude gebouwen die tegen de vestingmuren aanleunden.
Andere belangrijke figuren uit de Franse geschiedenis zouden hier verbleven hebben, waaronder François 1er en Charles IX.