Hay noticias de que la zona, los valles en general , se encontraban ya habitados en la época del neolítico; los historiadores afirman que la cultura de Tartesios nutria sus industrias con las minas de estaño que se encontraban en las fuentes del Guadalquivir, es decir en esta zona ( el río Guadalimar es uno de los principales afluentes del gran río andaluz, nace en la localidad fruto de diversos arroyos que discurren por las faldas del Pico del Padrón, entre otros). Nuestros antepasados los íberos bastetanos vivían en las montañas junto a los íberos turdetanos, oretanos y túrdulos, nucleados éstos en las marismas y riberas por las vegas del Guadalquivir, herederos directos de la cultura tartesia. Conocían las artes, la escritura, el comercio, la arquitectura y la justicia.

En la época de Cartago y Roma, hacía el año 250 antes de Cristo, nuestra tierra conoció importantes hechos como la batalla de Castrum Altum ( Actual Segura de la Sierra, Jaén )., entre las legiones romanas dirigidas por los Escipiones contra los cartagineses, comandados por Asdrubal. De estos acontecimientos, quedaron los trazados de las vias romanas que se dirigían a Sagunto ( Valencia) o el camino de Anibal en su dirección a la conquista de Roma, trazados que ya no se conservan físicamente, pero que sabemos que existieron, como es el caso de la actual Cañada Real a Andalucía, por donde discurre la carretera de Riopar a Siles, siendo utilizada durante siglos para el paso del ganado trashumante.

Esta zona fue invadida por los Godos, allá por el 414 después de Cristo, época de escasas huellas, utilizaron estas sierras como grandes cotos de caza y reservas de madera.

En el año 711, la península es invadida por el Islam, inaugurándose una floreciente etapa cultural en todo el territorio peninsular. Hasta no hace muchas décadas, era posible ver las típicas casas encaladas de los pueblos árabes, aún podemos distinguir el trazado laberíntico pero ordenado de la cultura islámica en algunas calles de la villa.

Durante la Reconquista cristiana, acontecieron importantes batallas como la Batalla de las Navas de Tolosa en el año 1212 con el Rey Alfonso VIII. La gran victoria obtenida por los cristianos hizo que se abrieran las puertas de Alándalus a la cristiandad. Destacando importantes núcleos como Alcaraz, concediéndosele el privilegio de formar concejo con su propio fuero, siendo Villaverde una de las aldeas de la Ciudad de Alcaraz, momento desde el cual esta población es interesante a las diferentes ordenes como las de Santiago y el propio concejo de Alcaraz, Estas disputas acabaran cuando en 1436 el Rey Alfonso, como pago de los favores a D. Rodrigo Manrique Conde Paredes le entrega a Villaverde junto a otras villas ( Riopar, Bienservida, Villapalacios y Cotillas ), formándose el Señorío de las cinco Villas, entrando la localidad a formar parte del entorno de los Manrique y la Orden de Santiago.

En esta época surge cierto esplendor en la villa, construye un monasterio en Honor a San Francisco de Asís, siendo el Conde D. Pedro Manrique III, quien obtuvo una bula papal en 1447, construyéndose una ermita en los alrededores de la población, no siendo hasta 1486, cuando se instalan los religiosos en el definitivo monasterio.

Es en esta época cuando en la localidad encontramos una ciudadela en su parte más alta, junto a su castillo medieval, fortificado y la iglesia parroquial santificada en honor a la figura de San Mateo Apóstol, junto a las posadas ,ventas y otros edificios civiles de la época, Edificios de los que desgraciadamente hoy no se conservan restos algunos, tan solo escasas ruinas del monasterio San Francisco en las afueras del casco urbano, siendo utilizado como cantera para la construcción de los muros que sujetan la localidad y los antiguos colegios en la década de los años cuarenta. Igual suerte corrió la Iglesia Parroquial de estilo románico, del siglo XII, destruida a finales de la década de los setenta con la excusa de un grave deterioro, la misma situación aconteció con los restos de la torre de la ciudadela, barrenada antes de la guerra civil, para el emplazamiento del actual cuartel de la guardia civil.

Ya en el Siglo XVI en la relación topográfica hecha por Felipe II, se habla de Villaverde de Ambas aguas como nombre de la época junto a una descripción de la localidad y su pertenencia al Conde de Paredes de Nava.

Con el descubrimiento de las Américas, Villaverde aportaría en el siglo XVI doce de sus vecinos, a tal nueva aventura, posteriormente con el nombramiento del Conde de Paredes y Señor de las Cinco Villas como Virrey de Méjico, en 1680, otra oleada de vecinos partiría a las Indias, llevándose el Conde, servidores y religiosos del Monasterio de San Francisco.

Tras diversos avatares políticos e históricos, el Señorío de las Cinco Villas cambiará de titularidad en el año 1745, siendo entonces el propietario el Conde de Las Navas de Amores, Señorio que dejara de existir en el siglo XIX.

En el siglo XVII, con la creación de la provincia marítima de Jaén , La localidad junto a la Sierra de Cazorla, Segura y las Villas, surtirá de maderas a los barcos que se construían el puerto de Sevilla con destino a las Indias, las maderas se conducían a traves del río Guadalimar hacia la confluencia del rió Guadalquivir. Es en este siglo, cuando Villaverde entra formar parte de la División administrativa de la Mancha, encuadrándose en el siglo XIX en la actual demarcación de la entonces creada provincia de Albacete, con la Regente María Cristina, entrando a formar parte del partido Judicial de Alcaraz.

Los finales del siglo XIX, al igual que en el resto de España, fueron políticamente convulsos, fruto de ello eran muchos los que dedicaban su vida al bandolerismo, ya en el siglo XX, uno de los últimos bandoleros andaluces dejaba la vida el estas sierras, en el Paraje del Arroyo del Tejo, en 31 de Agosto de 1907, cuando este huyera hacia las Americas junto a su compañero el Niño del Arahal.

Entrando en el siglo XX, se produce el motín de subsistencia, dándose este hecho en la localidad en 1914. Avanzando la localidad hacia acontecimientos políticos al igual que en el resto de España ; la dictadura de Primo de Rivera, La proclamación de la II Republica en 1931 y la Guerra Civil en 1936, en la que si bien no hubo excesos por ambos bandos, si fueron muchos los republicanos encarcelados, como el Concejal Félix Arroyo y Quesada, socialista liberado del campo de concentración de Alcaraz por su actitud conciliadora de las ideas de izquierdas y de derechas. Finalizada la guerra la localidad afronto un futuro incierto , provocándose oleadas de emigrantes hacia las ciudades que allá por los cincuenta y sesenta eran los núcleos industriales del país, como Madrid , Barcelona, Bilbao, etc, también son muchos los descendientes de Villaverde que hoy viven en países como Brasil , Alemania, Francia o Suiza.

La democracia trajo aires de renovación al conjunto del estado, y tras una importante despoblación, hoy es una población mayoritariamente jubilada que se enfrenta a nuevos reto como es el de conservar un núcleo estable de vecinos, a lo que se esta ayudando de la implantación de establecimientos turísticos de carácter rural.