En lo alto de la loma los españoles construyeron un fortín desde el cual vigilaban los alrededores de la ciudad, desde el norte hasta el sur; por lo cual además contaban con cañones y demás herramientas de artillería. Durante la guerra de la Independencia, el Panecillo fue escenario de un importante combate entre las fuerzas realistas de Toribio Montes y Sámano, y los patriotas dirigidos por Carlos de Montúfar y otros defensores del Estado de Quito de 1812.
Además, en 1822 durante la Batalla del Pichincha el fortín del Panecillo sirvió como lugar de comando de los españoles quienes finalmente entregaron sus armas al Ejército de la Gran Colombia en una ceremonia especial, en la cima de la loma emblemática, llevando a cabo el acto final del Imperio español en Ecuador.
En marzo de 1975 se inauguró en la cima del cerro la famosa escultura en aluminio de la Virgen de Quito, creación original de Bernardo de Legarda en el siglo XVIII. La figura está compuesta por siete mil piezas diferentes reposa sobre un edificio base de cuatro niveles, construido en hormigón y revestido de piedra volcánica. Dentro se puede recorrer un pequeño museo en el que se relata la historia del milenario cerro y de la construcción de la escultura. Ubicado en los pies de la Virgen se encuentra un mirador, desde el cual se tiene una privilegiada vista de 180 grados de la ciudad de Quito.