Situado no Concello do mesmo nome, as orixes do Castelo de Soutomaior remóntanse ao século XII. Foi berce e sede principal da casa nobiliaria do mesmo nome, unha das máis poderosas da nobreza medieval galega. Foi reconstruído e ampliado no século XV por Pedro Álvarez de Sotomayor, coñecido polo sobrenome de Pedro Madruga.
Ao longo da historia a súa fisionomía foi cambiando de acordo cos seus usos. No século XIX, xa como residencia de verán, engadíuselle un parte en estilo neogótico. Hoxe o interior é un museo que se pode visitar.
Os seus xardíns, construídos tamén no século XIX, conteñen árbores singulares, entre os que destacan varios exemplares de sequoia, a maior delas con 41 metros de altura e 9 de perímetro. Ademais é un dos xardíns incluídos na Ruta da Camelia de Galicia.