Los jardines se caracterizan por salvar un pronunciado desnivel, provocado por el barranco existente entre el palacio y las riberas del río Manzanares. Fueron trazados en 1844 por el arquitecto Narciso Pascual y Colomer, quien ideó un conjunto formalista, si bien las obras de ajardinamiento no pudieron llevarse a cabo hasta finales del siglo XIX.
Es uno de los tres recintos ajardinados que adornan el entorno del Palacio Real, pero, a diferencia de los otros dos (los Jardines de Sabatini y laPlaza de Oriente), su gestión no corresponde al Ayuntamiento de Madrid, sino a Patrimonio Nacional, organismo del que dependen las posesiones que estuvieron en manos de la Corona Española.
La idea de levantar una zona recreativa en el paraje que hoy ocupa el Campo del Moro es anterior a la edificación del Palacio Real de Madrid. Los primeros intentos surgieron en tiempos de Felipe II (1527-1598), quien encargó un proyecto para salvar el desnivel existente entre el Real Alcázar, en cuyo solar fue erigido el palacio actual, y la hondonada del río Manzanares.
Con la construcción del Palacio Real, cuyas obras comenzaron en 1738, cuatro años después del incendio del Alcázar, fueron realizados numerosos planes de ordenación del recinto, que no pudieron materializarse ante la escasez de agua, las dificultades que ofrecía el terreno y la ausencia de recursos económicos.
Se conectaba, mediante una gruta artificial (denominada: Túnel de Bonaparte), el Palacio Real con los jardines de la Casa de Campo, situados al otro lado del río Manzanares. Fue excavada en1810, durante el reinado de José I, un año antes de la muerte de Villanueva. En 1891 fue objeto de una remodelación, que consistió en la instalación derocalla como elemento ornamental. Aún se conservan varios tramos de este pasadizo, localizados, los más relevantes, en el propio Campo del Moro y bajo el antiguo Camino de Castilla.