Le château de St Martin qui fut, avec le château de Lamothe, l’une des plus anciennes demeures seigneuriales de Pouillon. La tradition rapporte qu’un seigneur de St Martin de Pouillon combattait déjà aux côtés de Charles Martel à Poitiers, mais cette hypothèse apparaît totalement infondée.
C’est surtout grâce aux Rôles Gascons, textes relatifs à l’occupation anglaise en Aquitaine, que la féodalité régionale nous est mieux connue, à partir du XIII°s, la région de Pouillon étant dans sa totalité sous domination du roi d’Angleterre, duc d’Aquitaine. Le roi-duc possède à Pouillon un castrum, l’actuel quartier du Château, qu’il fait fortifier et peupler. Dès 1254, Edouard 1er donne des instructions dans ce sens ; il les renouvelle en 1289, date à laquelle il distribue des emplacements dans le castrum à un certain nombre d’habitants de Pouillon. Il adresse ce dernier texte à « Gaillard de St Martin et autres gens ». C’est la première mention d’un membre de la famille St Martin de Pouillon; (dans le même texte, sont cités Bernard et Guillaume-Raymond de St Martin).
Le même Gaillard reçoit, en 1305, des rétributions du roi-duc pour frais de campagne, ainsi qu’Arnaud de St Martin.
En 1317, Pierre de St Martin reçoit du roi-duc l’autorisation de « fortifier et d’entourer d’un fossé et d’une palissade son lieu de St Martin de Polhon », tandis que Lubaud de St Martin est nommé bailli royal de Pouillon et Hastingues (mention 1314).
Aux XIII°-XIV°s, la famille de St Martin apparaît donc remarquable par la carrière que ses membres accomplissent au service du roi-duc et dans l’armée anglo gasconne. On retrouve d’ailleurs en 1337 le seigneur de St Martin de Polhon parmi les destinataires de la lettre écrite par le roi Edouard III aux principaux seigneurs et villes de Gascogne.
Au XVI°s, la famille se divise en deux branches : la branche aînée occupe le château que voici, la branche cadette « de St Martin Lacaze » élit domicile au quartier de Maas et s’allie avec la famille de Luppé (1610 : Laurent-Etienne de St Martin Lacaze épouse Jeanne de Luppé-Lamothe)
En 1665, Fermy de St Martin vend le château à son cousin Bertrand de Betbeder venu du pays de Gosse. En 1720, lors d’une nouvelle vente, il passe entre les mains de la famille de Pémolié-St Martin qui le conserve jusqu’à la fin du XIX°s.
En 1780, les Pémolié ST M s’allient aux châtelains de Garanx à Pouillon : Louis-Marie de PSM épouse Sophie-Saubade de Suhigaray ; leur fille, Félicité-Anne, épousera le comte d’Abadie de Barrau. Louis-Marie Pémolié Saint Martin a été membre du Corps Législatif sous le 1er Empire.
En 1878, Elisa de Pémolié Saint Martin lègue par testament le château aux Lazaristes du Berceau de Saint Vincent de Paul qui en font une maison de vacances pour leurs orphelins, avec piscine ! Après la deuxième GM, il abrite un centre de formation de jeunes agriculteurs.
Ensuite laissé à l’abandon jusqu’à ce que, en 1976, la famille Büsche en fasse l’acquisition et consacre, avec l’aide de Pierre Décla tous ses efforts à la restauration de cette vaste demeure de 25 pièces, aménagée pour accueillir des hôtes de passage, y compris la chapelle transformée en appartement. En 2017, le château est vendu à la famille Ramos Dos Santos qui le rénove entièrement et poursuit l’activité de chambre d’hôtes et de gîte.
Les bâtiments actuels datent, pour l’essentiel, du XIX°s ; les caves voûtées en briquettes sont beaucoup plus anciennes (Renaissance) ; le mur sud-est conserve une fenêtre Renaissance ; le bel escalier d’entrée, ainsi que certaines boiseries de l’intérieur datent du XVII°siècle.