O Castelo de Alvor foi edificado num planalto situado perto de pequena enseada onde desaguam as ribeiras de Arão, Farelo e Alvor.
Defenderia não só a povoação piscatória com o mesmo nome, de origem pré-romana ( Ipses ), como importante sector da costa mas, também, o provável acesso ao interior através dos cursos de água referidos. Trata-se de construção de planta subquadrangular, edificada em alvenaria de pedra e que teria tido entrada em cotovelo. Ocupa área com cerca de 960 m2 (ver mapa).
Da primitiva fortificação muçulmana orientada nordeste-sudoeste, pervive parte da porta de entrada, com 2,50 m de largura, estando os dois cachimbos dos gonzos dispostos a cerca de 2,60 m do chão actual.
A fortificação foi construída com blocos de pedra, irregulares, sobretudo de calcário conquífero do Miocénico local, muito embora incorpore elementos de arenito vermelho (grés de Silves) argamassados com cal, pedra miúda e fragmentos de cerâmica.
A muralha do lado sudoeste mede 1,70 m de espessura, na zona mais elevada, e cerca de 6,00 m de altura. Subsiste, no interior, junto à porta de entrada, parte da escada, com cerca
de 0,50 m de largura, que dá acesso ao passeio de ronda. A sudeste observa-se, ainda, restos de espesso muro, com aparelho semelhante ao da fortificação, que poderia ter pertencido a barbacã e, na mesma direcção, os alicerces de uma torre.
Na fortificação muçulmana viveria guarnição militar instalando-se o núcleo populacional, no seu exterior, na zona próxima da praia, onde se desenrolariam as principais actividades económicas.
O castelo do Alvor foi referido pelo cruzado que participou na conquista de Silves, em 1189, como estando na dependência daquela cidade, tendo sido parcialmente destruído e os seus habitantes mortos (Pimenta, 1982, p. 160, 161).
Das origens daquele dispositivo defensivo conta-nos, no século XVI, Henrique Fernandes Sarrão, que teria sido fundado “pelo grande Aníbal” no sítio da “Vila Velha” onde “ainda se acham alicerces velhos” (Guerreiro e Magalhães, 1983, p. 150).
Segundo, Alexandre Massaii, no século seguinte, Alvor teria ”hu fortezinho pequeno, quadrado e sem traues, q nelle se recolhem á gente q.do ha rebatte...” (Guedes, 1988, p. 129, 130).
No denominado “Dicionário Geográfico” o pároco da freguesia do Alvor, respondendo à pergunta 25 elaborada pelo Padre Luís Cardoso, em 1758, relata-nos a existência, antes do terramoto de 1755, de “hum castello com bastante grandeza, as muralhas dele são bastante altas e fortes, as portas são três, sobre as quais estava huma torre com cazas honde vivião os capitais mores...” (Cardoso, 1758, vol.3, fl. 375--391)6.
