No se conocen con exactitud los orígenes de esta localidad, se cree debido al hallazgo de restos que los primeros pobladores fueron Vetones, pueblo de pastores que se agrupaban por clases y que construyeron pequeños poblados llamados “citanias”, después de ellos llegaron los romanos, que fundaron pequeñas poblaciones sobre estas citanias, naciendo los primeros núcleos de cierta importancia esta comarca: Ergastulum (Eljas), Aeminium (Alto de Jálama), Cilariun (Silleros)...

El conocimiento de los orígenes del nombre del pueblo, se le deben a los trabajos de investigación de Enrique Burguet:

“Tomó el nombre de Valverde por el sitio en que se halla fundado, siendo de notar que en medio de la plaza hay rica y abundante fuente de agua, la cual está de pie de un fresno muy grande cuyo tronco tiene 42 pies de a diez puntos de gordo y dentro de dicho tronco, que está hueco, pueden caber cinco a seis personas”.

En Valverde del Fresno y en general en el valle del Xálima existe un dialecto que prevalece desde la época de la reconquista de España por parte de los Reyes Católicos. Esta lengua denominada "A fala" propia de un castellano antiguo conserva raíces de gallego, astur-leonés y portugués. En Valverde la singularidad de la "Fala" recibe el nombre de "chapurrau", en la vecina localidad de Eljas se llama "lagarteiru" y, en San Martín de Trevejo, "mañegu". Existe gran controversia sobre su origen, si bien, por encima de cualquier valoración lingüística hay que destacar el hecho sociológico de la existencia de gran cantidad de apellidos, denominaciones de lugares, arquitectura e incluso gastronomía de origen evidentemente gallego. La Fala ha sido reconocida por la Junta de Extremadura como “Bien de interes cultural”.

En la localidad los vestigios más antiguos quizá sean los de Salvaleón, donde todavía se pueden contemplar las ruinas de esta fortificación dentro del término municipal. Este nombre quizá pudiera provenir del aserto “salvado por el León”, o más bien, “salvada la frontera de tal reino”.

Esta fortaleza se ubica en un lugar estratégico de primer orden, en un cerro de 370 metros de altitud, situado en la confluencia de los ríos Basádiga y de la Vega, entre otras, defendía la Sierra de Gata durante la Reconquista. Hoy día aun se puede apreciar la planta de fortificación construida por dos recintos tangentes de forma oblonga. Desde mediados del S. XIII figura como cabeza de la Encomienda, perteneciendo a la Orden de Alcántara, y a la que el Rey Alfonso IX, concedió fuero propio; pierde su protagonismo a mediados del siglo XV, quedando abandonado el lugar desde el XVI, y provocando así el florecimiento de la villa de Valverde.

En el siglo XVII son expulsados los moriscos de la Villa. La Guerra de la Independencia portuguesa provoca escaramuzas en la zona, esto trae consigo una disminución de la población valverdeña, debido al hambre y a la miseria, paralizando así el desarrollo del municipio.

En el siglo XX y como consecuencia de la guerra civil, en los primeros años de la postguerra, marcados por la miseria, se fomentó el estraperlo con los portugueses logrando mitigar el hambre. Pero el despegue industrial de Alemania, Francia y el norte de España provoca que a partir de mediados del siglo XX, una gran emigración de los habitantes de esta Villa.