Las inseguridad política y militar del siglo XIII hizo necesaria la construcción de este Recinto Amurallado alrededor de la villa medieval a modo de defensa ante los posibles ataques exteriores. El Arzobispo de Toledo, Rodrigo Ximénez de Rada (1209-1247) distribuyó un total de siete puertas (la Puerta de Burgos, el Postigo de la Morería, la Puerta de Madrid, la de Santa Ana, la Puerta del Vado, la Puerta de Fernán Falcón o de Tenerías y la Puerta de Guadalajara) para dar paso al interior de la ciudad.

Las múltiples reformas ejercidas durante el arzobispado de Pedro Tenorio (1377-1399), en el de Alonso Carillo de Acuña (1446-1482) y en el de Bernardo Sandoval y Rojas (1599-1618) posibilitaron la ampliación de la fortaleza, además de la construcción de nuevas torres de defensa y del Monasterio Cisterciense de San Bernardo.

En la actualidad, la parte del Recinto Amurallado que ha logrado sobrevivir al paso del tiempo se encuentra entre el lienzo que bordea el Palacio Arzobispal, la Puerta de Madrid (construida en 1788) y el Arco de San Bernardo.