À l’orée du XVIIIe siècle, la vicomté et le château passent à la famille des Saint-Martin (Capbreton, en Gascogne), puis vers 1750, aux mains des Caupenne d’Amou (Saint-Pée, en territoire basque du Labourd). La vicomtesse Marthe Madeleine de Saint-Martin (qui a épousé Henry Caupenne d’Amou) engage une sorte de « réaction nobiliaire », à la fin du XVIIIe siècle : elle exige des droits et des avantages nobiliaires anachroniques de la part des Baigorriar, ce qui suscite un affrontement avec la population du territoire… Les fastes des XIVe et XVIe siècles sont loin, les seigneurs d’Etxauz doivent désormais se contenter d’un train de vie plus modeste.
Le 23 janvier 1795, Jeanne-Marie Marguerite Caupenne d’Amou, héritière du titre et du château épouse, Jean Harispe, fils d’un bourgeois de Donostei (Saint-Étienne, hameau principal de la vallée de Baigorri). Mais le couple n’a pas d’enfant, et la dynastie vicomtale s’éteint avec Jeanne-Marie Marguerite, dernière dame d’Etxauz, le 10 février 1832.
Harispe, capitaine des armées françaises sous les guerres de la Convention, est le fondateur du corps franc des « chasseurs basques » qui repousse l’invasion espagnole entre 1793 et 1794 (notamment lors de la bataille du rocher d’Arrola, au dessus de Baigorri). Chef militaire dont la réputation va croissant, il participe ensuite, sans ses chasseurs basques, aux campagnes napoléoniennes, est fait comte de l’Empire, puis maréchal de France sous le Second Empire (1851). Il n’habite cependant pas le château où demeure son épouse. Lui réside au château de Lacarre dont il est devenu propriétaire. Le château d’Etxauz est vendu par la nièce de Jeanne-Marie Marguerite en 1848, à la famille basco-irlandaise des d’Abbadie d’Arrast.
Charles d’Abbadie d’Arrast vit au château jusqu’à son décès, en décembre 1901. Etxauz reste un bien familial, et il est régulièrement fréquenté par le petit-fils de Charles, Harry. Celui-ci travaille à Hollywood, aux États-Unis. D’abord assistant de Charlie Chaplin, il devient réalisateur et scénariste dans les années 1920 et 1930. D’Abbadie d’Arrast et Chaplin viennent séjourner à trois reprises, au château d’Etxauz (en 1925, 1926 et 1931).
Entre 1940 et 1944, le château est réquisitionné par l’armée allemande qui y établit son quartier général. Les soldats qui y résident (dont certains sont des Autrichiens des Alpes, habitués à la montagne, qu’ils doivent surveiller pour empêcher les passeurs de franchir la frontière) écrivent en allemand et réalisent des gravures sur un pan du mur encore visible aujourd’hui dans les combles (en 2008, le petit-fils de l’un des soldats qui résidaient à Etxauz vient visiter le château et offre aux propriétaires des photos d’Etxauz et de Baigorri à l’époque de l’occupation). Toujours aux mains des d’Abbadie d’Arrast, le château n’est pourtant plus fréquenté après la Libération. En 1976, Eleanor Boardman, l’actrice hollywoodienne veuve d’Harry d’Abbadie d’Arrast décédé en 1968, vend le château.
S’ensuivent des années difficiles : le château est séparé de l’ensemble de son domaine puis revendu à des locaux. Il est alors pillé, saccagé (un «trésor de Charlemagne» ou «des Templiers» est recherché…) et laissé à l’abandon jusqu’en 1994. Plusieurs projets sont envisagés, mais ils n’aboutissent pas, faute de financements ou de soutiens. Le 21 décembre 1989 pourtant, il est inscrit à l’inventaire supplémentaire des Monuments Historiques : les services de l’État, alertés du délabrement du château, se rendent compte que ce monument du patrimoine local doit être sauvegardé. Etxauz est racheté en 1994 par un couple de Bayonnais, M. et Mme Pierné, qui le restaurent complètement et le remeublent. L’ensemble des travaux de restauration est primé en 1997 : M. et Mme Pierné reçoivent le Grand Prix National des Vieilles Maisons Françaises. Etxauz devient une Maison d’hôtes : 7 chambres y sont aménagées ; il accueille des manifestations festives (mariages, réceptions…).
En décembre 2003, les époux Pierné vendent le château à M. Azrani, homme d’affaires des environs de Miami dont l’épouse a des origines à Erratzu, village navarrais voisin de Baigorri. Les Azrani sont les actuels propriétaires du château qu’ils fréquentent durant la saison, et qu’ils ouvrent aux locaux à l’occasion de marchés nocturnes, de visites organisées ou de fêtes des écoles Ikastola.