Da man i ca. 1900 begyndte produktionen på Hasle Klinker- og Chamottestensfabrik, skulle man bruge masser af ler. Den første lergrav der kom i Hasle Lystskov var den som vi i dag kender under navnet Smaragdsøen. Det viste sig dog hurtigt ikke at være en god ide.
Man var nødt til at standse lergravningen, ikke fordi at leret havde en ringe kvalitet, tvært i mod. Men naturen forhindrede at man kunne fortsætte. Der var et meget kraftigt vandspring i bunden af lergraven, der bevirkede at gravearbejdet stort set var umuligt.
En ny grav blev startet – Pyritsøen, der leverede ler til fabrikken indtil den lukkede.
Navnet Smaragdsøen er opstået da vandet har en let grønlig farve. Søen må betegnes som en skovsø, selvom Bagå løber gennem søen.
Det er tilladt at fiske i søen hvis man har fisketegn. Det kan dog være noget besværligt, netop på grund at træerne rundt om søen. Her er der mulighed for at fange, gedder, aborrer og havørreder.