Les Agotes constituaient un groupe social attesté depuis le Moyen Âge dans le nord de la péninsule ibérique et le sud-ouest de la France, avec une présence notable en Navarre, en particulier dans la vallée du Baztán, où ils s'étaient installés dans des localités telles que le quartier de Bozate à Arizcun, village natal de Juan de Goyeneche, et témoin direct de la discrimination dont faisaient l'objet les Agotes du fait qu'ils étaient ses voisins, ce qui est d'ailleurs l'une des raisons invoquées pour les faire venir sur le chantier du nouveau complexe, car cela leur permettrait d'échapper à ces mauvais traitements. Leur existence est attestée au moins depuis le XIe siècle, date à laquelle ils sont mentionnés dans l'Ancien Fuero de Navarre, ce qui indique qu'ils étaient déjà considérés à l'époque comme un groupe distinct.

Au cours de l'époque moderne, entre le XVe et le XVIIe siècle, leur marginalisation s'est consolidée pour devenir une pratique sociale généralisée. Les Agotes ont fait l’objet d’une forte discrimination fondée sur des croyances qui les identifiaient comme un groupe impur ou dangereux. On en est même venu à les considérer comme des descendants de lépreux ou d’hérétiques, ce qui, dans une société profondément marquée par la peur de la maladie et par la pureté religieuse, les plaçait en dehors de l’ordre social établi.

L'association avec la lèpre, l'une des maladies les plus redoutées et les plus rejetées socialement de l'époque, a suscité la peur du contact physique et justifié leur isolement. Parallèlement, leur lien avec l'hérésie impliquait une prétendue déviation de la foi, ce qui renforçait leur rejet au sein de communautés où la religion constituait le principal élément de cohésion sociale. Ces croyances ont suscité la méfiance, le rejet social et une séparation constante par rapport au reste de la population.

Pendant plusieurs siècles, du Moyen Âge jusqu’au XIXe siècle, ces idées ont perduré dans la société, bien qu’elles n’aient aucun fondement réel, et ont servi à justifier et à perpétuer leur exclusion au sein de la communauté.

En conséquence, de nombreuses restrictions leur ont été imposées. Ils vivaient dans des quartiers séparés, ne pouvaient pas se mélanger au reste de la population et avaient un accès limité aux biens communaux, tels que les terres, les pâturages ou les montagnes, ce qui, dans la pratique, les empêchait de se consacrer à l’agriculture et à l’élevage dans des conditions d’égalité. Ils se sont donc retrouvés cantonnés principalement à des métiers manuels tels que la menuiserie, la taille de pierre, la fabrication d’ustensiles ou la musique. De même, ils subissaient une discrimination manifeste dans le domaine religieux, où ils devaient occuper des espaces distincts et ne participaient pas sur un pied d’égalité aux rites. Même le contact physique avec eux était évité, reflet de la crainte sociale qui existait à leur égard.