Comme un certain nombre de Castelnau, la ville est caractérisée par son église et à l’origine, son château, logés sur la partie la plus haute que l’on atteint difficilement par une route en lacets sur le versant Ouest, plus droite généralement sur le versant Est.
Comme son nom l’indique, Castelnau doit son origine à son ancien château édifié, au XIIIe siècle, par le Vicomte de Labarthe, Sanche II.
L’originalité du Magnoac réside en son histoire : il a formé avec trois autres pays une unité politique : les IV Vallées groupant le Magnoac, la Neste, la Barousse, et l’Aure. Au 13ème siècle, les IV Vallées passent aux comtes d’Armagnac ; leurs biens sont confisqués en 1475 par le roi qui confirme aux IV Vallées leurs privilèges : elles ont a leur tête un Juge-mage choisi par le seigneur mais qui a tout pouvoir de justice ; le pays revient ensuite aux Bourbon et aux d’Albret et n’est définitivement rattaché à la Couronne de France que sous Henri IV, mais les 4 vallées conservent leurs Etats et leurs consuls élus. Castelnau est non seulement le chef lieu du vicomté du Magnoac, mais partage avec Garaison et Labarthe l’honneur d’être la résidence du Juge-mage. A la Révolution, les IV Vallées ont été réunies à la Bigorre pour former le département des Hautes-Pyrénées.
Castelnau, est à la lisière de trois départements et à l’écart très limité des grandes ville comme Tarbes, Auch, Toulouse, Pau.
Si elle appartient aux Hautes-Pyrénées, la ville n’en garde pas moins un caractère marginal, peu montagnard. Le paysage, au sein duquel elle est née, est fait de croupes boisées qui de loin en loin découvrent la chaîne pyrénéenne.
Le site de Castelnau est exceptionnel : à proximité d’une large vallée fréquentée dès l’Antiquité, il culmine à 354 mètres. Notre village est de type «habitat perché», comme son nom l’indique, il détermine tout type de construction bâties sur un site offrant une forte dénivellation avec les régions voisines, recherché, dès les temps les plus reculés, pour l’ensoleillement et l’abri qu’il procure sur son versant oriental et la sécurité qu’il pouvait supposer apporter par son point culminant contre les invasions lointaines.