O castelo encontra-se em mau estado de conservação, e a porta da entrada está a cair. O castelo fica no cimo de uma elevação. Restam-lhes algumas muralhas que defendiam o castelo.

No cimo do castelo conseguem-se avistar algumas localidades, como por exemplo: Baraçal, Abitureira, Martim Pêga, Pêga, Seixo do Côa, Arrifana, Sabugal. O castelo fica situado na Vila do Touro. As muralhas que lhes restam ficam a norte e a oeste. No meio do castelo encontram-se pedregulhos, as muralhas do castelo são de muitas formas, principalmente de forma ondulada. Deste castelo não se encontra a sua era, devido a ser muito antigo.

Fomos visitar a Vila do Touro e observamos que para além do castelo existem outros monumentos históricos, como por exemplo, a igreja situa-se no centro da vila, o pelourinho ao lado da igreja, a fonte do Bezerrinho, um coreto, casas antigas e um solar, onde os estilos arquitectónicos variam.

Podem-se observar algumas árvores, principalmente a azinheira. Encontramos algum mato tapando assim parte do castelo. O castelo foi destruído pelas crianças que mandavam pedras para baixo.

O foral foi concedido em 1 de Dezembro de 1220, no século XIII, por Dom Pedro Alvito que era mestre dos templários que deu o foral à Vila do Touro. Os habitantes não sabem quando foi construído esse castelo e no livro do concelho do Sabugal não se refere nada sobre o castelo da Vila do Touro.

Nunca foi acabado. Porque os templários não conseguiram acordo com o concelho da Guarda, como havia risco da Guarda perder terras opuseram-se à criação de concelho da Vila do Touro.