Vejer estuvo poblada desde el Paleolítico y ya estaba fortificada en la Edad del Bronce. En época prerromana se denominó Besaro y se han hallado restos del siglo VII a. C. debajo de las murallas actuales. Durante la etapa romana pasa a denominarse Baesippo.
En el 711 pasó a manos musulmanas tras la batalla de la Janda, en la cual los musulmanes, comandados por Tarik, derrotaron a Don Rodrigo.
Placa que menciona la reconquista del municipio por las tropas cristianas en el siglo XIII.Durante cinco siglos y medio permaneció bajo dominio musulmán, denominándose Besher. Quedan vestigios como la puerta del castillo (Siglo XI), parte de las murallas y el entramado de sus calles. Vejer volvió a manos cristianas en dos ocasiones. En una primera, en el año 1250, reinando Fernando III "El Santo", y volvió a manos árabes en junio de 1264, tras una revuelta en la que tomaron por fuerza el castillo.
La segunda y definitiva se inició en agosto de 1264, expulsando a los mudéjares y terminó en 1285. Ese mismo año, Sancho IV concede a la Orden de Santiago el señorío sobre Vejer para consolidar el territorio de manera más rápida, aunque dicha orden nunca tomó posesión de Vejer.
En 1307, después de una segunda repoblación, pasa a ser señorío de Guzmán el Bueno, que desde 1299 era ya dueño del señorío de las almadrabas de toda la zona del Estrecho de Gibraltar, y tras tomar Tarifa, se convirtió también en el defensor del Estrecho, llegando a ser dueño y señor, después del rey, de estas tierras. De él heredarían los Duques de Medina Sidonia.
Durante los siglos XV y XVI, Vejer estuvo dominada por los Guzmanes, y ya en la Edad Moderna el pueblo se enfrentó, con Juan Relinque a la cabeza, contra los Duques de Medina Sidonia por el control de las tierras comunales, denominadas Hazas de Suerte.
Fue declarado Conjunto Histórico-Artístico en 1976.
