Situado en el Concello del mismo nombre, los orígenes del Castillo de Soutomaior se remontan al siglo XII. Fue cuna y sede principal de la casa nobiliaria del mismo nombre, una de las más poderosas de la nobleza medieval gallega. Fue reconstruido y ampliado en el siglo XV por Pedro Álvarez de Sotomayor, conocido por el sobrenombre de Pedro Madruga.
A lo largo de la historia su fisonomía ha ido cambiando de acuerdo con sus usos. En el siglo XIX, ya como residencia de verano, se le añadió un parte en estilo neogótico. Hoy el interior es un museo que puede visitarse.
Sus jardines, construidos también en el siglo XIX, contienen árboles singulares, entre los que destacan varios ejemplares de sequoia, la mayor de ellas con 41 metros de altura y 9 de perímetro. Además es uno de los jardines incluidos en la Ruta de la Camelia de Galicia.