Les vieux quartiers de Castelnau sont composés de nombreuses maisons à colombages (elles sont, pour la plupart recouvertes de crépis), dans lesquels, faute de place on enjambait les ruelles par des passerelles (comme encore aujourd’hui celle de la rue des Chapeliers).

Les bâtiments en pierre, à l’exception de la collégiale et autrefois du couvent des Clarisses (situé alors sur la grand place et édifié en 1638), sont rares. A l’origine, la plupart des maisons étaient basses, faites d’une carcasse de bois et de terre mêlée à de la paille ou à de la bruyère, et couvertes d’un toit de chaume.

Même les maisons des notables sont en pisé ; exceptionnellement on y intercale des galets roulés et seule l’épaisseur des murs (parfois plus de 80 cm) maintient une bonne solidité; plus hautes, elles présentent un toit de «tuiles canal» provenant des fabriques locales et plus rarement d’ardoise de Louron ; certaines se sont maintenues jusqu’à nos jours : ainsi la mairie, la maison «Cazes-Vignaux» en pierre de taille du pays, qui abritait la maison de retraite des avocats  ; une autre, sur la place de la Pourcaou,  propriété de la famille d’Abadie,  célèbre parce que l’un de ses membres fut le seul représentant des Quatre Vallées aux Etats  Généraux de 1789, puis général et baron d’empire, transformée en gendarmerie, a été démolie ; la plus belle demeure enfin, celle bâtie au pied de la ville par la famille de Santis,  aujourd’hui Manoir de la Grange accueille depuis 2006 des Masters class  de chants lyriques et concerts.