Ergue-se em posição dominante sobre a ribeira de Quarteira, cerca de dois quilômetros ao Sul da cidade. Um dos sete castelos representados na bandeira de Portugal, as suas ruínas, de cor avermelhada, constituem um dos exemplares mais significativos da arquitetura militar muçulmana na península Ibérica.
A referência mais antiga sobre o castelo remonta a 1189, quando foi conquistado em um encarniçado assalto noturno pelas forças de D. Sancho I (1185-1211), com o auxílio de uma esquadra de cruzados ingleses. Esse domínio, entretanto, foi efêmero, uma vez que, já em 1191, foi recuperada pelas forças Almóadas sob o comando do califa Abu Yusuf Ya'qub al-Mansur.
A sua posse definitiva para a Coroa portuguesa só viria sob o reinado de D. Afonso III (1248-1279) com a conquista pelo Mestre da Ordem de Santiago, D. Paio Peres Correia, em 1248, iniciando-se o repovoamento da região.
