As primeiras referências a este local datam do século XI e mencionam uma propriedade rural de grandes dimensões, eventualmente fortificada. Em 1212, já o castelo existia, pois foi neste ano conquistado por Afonso IX de Leão, no processo de pretensa defesa dos direitos de sua filha, a Infanta D. Teresa. Durante dezanove anos, a fortaleza esteve na posse do monarca castelhano, só sendo restituída à coroa portuguesa em 1231, data em que se celebrou o acordo de paz do Sabugal. A posição estratégica de Santo Estêvão determinou que alguns dos contactos entre as duas coroas peninsulares passassem por ele, como aconteceu em 1253, quando D. Afonso III se deslocou ao castelo para receber a sua futura esposa, D. Beatriz. Estes primeiros capítulos da história de Santo Estêvão provam a relevância estratégica da localidade no controlo da fronteira transmontana setentrional. O castelo que se conhece, todavia, só na tradição local assim pode ser considerado, uma vez que se trata, efectivamente, de uma torre senhorial, a que se associavam outras dependências, conforme se depreende pela existência de pontos de apoio onde deveriam assentar alpendres entretanto desaparecidos. É de planta quadrangular, organizada volumetricamente em 3 andares que conferem uma altura de alçados na ordem dos 14 metros, efectuando-se o coroamento por caminho de ronda protegido por merlões piramidais. A fachada principal, voltada a Ocidente, ostenta portal axial de arco apontado, a que se acede por escadaria; o registo superior é marcado por janela geminada, de arco trilobado. Esta solução caracteriza genericamente a fachada Norte, mas a Sul, onde o alçado se encontra mais exposto a ataques, a solução encontrada foi a de abrir três apertadas frestas. O interior possui escadas comunicantes de madeira que permitem o acesso aos diferentes pisos, compostos por compartimentos únicos. Tipologicamente, esta torre encontra paralelos interessantes em estruturas análogas patrocinadas por importantes nobres galelos baixo-medievais, designadamente na zona de Orense, em Pena ou Forxa. Permanecem, no entanto, algumas dúvidas a respeito da confusão ou correspondência da torre com o presumível castelo de Santo Estêvão, registado na época medieval, questão que apenas um estudo rigoroso e arqueológico do local poderá esclarecer.