Le fief d'Enval, devenu de Val, a d'abord appartenu aux familles de Tinières, puis de Pierre de Pierrefort.
Guillaume IV d'Estaing, né en 1397 de Jean, seigneur de Cheylade, et d'Elise de Pierrefort, est chambellan du roi Charles VII, gouverneur et sénéchal du Rouergue, puis bailli de Nîmes. Il achète Val et fait construire le château actuel. La famille d'Estaing possèdera et habitera le château jusqu'à Guillaume V d'Estaing, dit Guillot, seigneur de Val, de Cheylade et de Landorre, né en 1529. Un certain nombre de familles vivront ensuite successivement dans le chateau, jusqu'à la famille d'Arcy.
En 1946, la famille d'Arcy est expropriée en vue de l'inondation de la vallée pour le barrage de Bort-les-Orgues. Elle emporte avec elle le mobilier du château. Finalement, la hauteur de l'engloutissement est revue à la baisse et le château ne sera pas englouti. Mais laissé sans surveillance, il est pillé jusqu'en 1951, quand le syndicat d'initiative de Bort-les-Orgues y installe un gardien. Devant l'insistance du président du syndicat d'initiative, Maurice Georges, EDF revend en 1953 le château pour un franc symbolique à la ville de Bort-les-Orgues, bien qu'il se situe sur la rive auvergnate du lac. Le syndicat d'initiative aura par la suite la responsabilité de la rénovation et de la gestion du site. EDF consent quant à elle à financer la construction d'une jetée permettant d'accéder au château lors des eaux hautes. Le château est aujourd'hui un lieu touristique, et peut être visité.