La porte fortifiée du château des Poitiers

Le château des Poitiers connu aussi sous le nom de château de Diane de Poitiers, ou encore château de la boisse, appartenait vraisemblablement aux Évêques de Valence dès son origine puis aux Poitiers. Intérieur non visitable

Ce château fut cédé au XVe siècle au premier dauphin, futur roi Louis XI mais à sa mort, il fut rendu en bon état à Aymar de Poitiers-Saint-Vallier (grand-père de Diane de Poitiers). Ce lieu est l’une des nombreuses demeures de la région où Diane de Poitiers séjourna comme en témoignent les archives municipales (septembre 1565). La tradition locale veut qu'elle y soit née en 1499, toutefois d’autres communes de la Drôme et de l’Ardèche revendiquent elles aussi la naissance de la comtesse.
Aucune trace écrite ne l'affirme. La construction primitive de ce château au début de la féodalité se composait d’un premier donjon de forme pentagonale que l'on retrouve mentionné sur le plan de 1698, situé à l'emplacement du parc municipal. En 1277, cette construction s’appelait Tour ancienne. Puis une seconde tour avec un grand portail fut construite au XIIIe siècle sous l’impulsion des Poitiers pour renforcer la défense du castrum. L’ensemble porte le nom de la Bistour (deux tours) dès 1292. Une enceinte clôturait l’ensemble d’une haute muraille encore visible aujourd’hui. Le bourg lui aussi fut entouré d'un rempart fermé par cinq portes de ville. Subsistent la trace des pans de mur du rempart (La Puya,
boulevard des Remparts), les corbeaux de l’ancien chemin de ronde, des mâchicoulis… En 1626, à la suite de l’édit de Louis XIII prônant la destruction de toute forteresse qui ne servait pas à la défense du Royaume, le château des Poitiers perdit ses tours et son donjon. A travers les siècles, la porte monumentale, les dépendances, la tour des Balistes (tour des Arbalètes), la maison du cocher et les écuries vont résister au temps. Ce lieu ruiné va servir peu à peu de carrière de pierres, avec lesquelles sont construites la plupart des maisons du bourg.
Les ruines du château seront rachetées presque en totalité par Honoré Laurent de Parisot de Durant de la Boisse. Il restaura et aménagea la partie basse des constructions anciennes adossées aux remparts.
D’autres personnages de l’histoire de France auraient séjourné dans ce château tels que François 1er ou encore Charles IX.