Man har siden midten af 1800 tallet gravet efter kul i Hasle Lystskov. I den forbindelse har man også fået masser af ler, der blev brugt til bl.a. klinker. Der har dog ikke været en egentlig fabrik af lervarer før i 1889, hvor Hasle Klinke- og Chamottestensfabrik blev anlagt. Men da den virksomhed åbnede, skulle der bruges store mængder af ler. De gamle lergrave er i dag smukke søer. Pyritsøen er den største af de gamle lergrave.
Ud over Pyritsøen, findes også i umiddelbar nærhed heraf, Safirsøen og Smaragdsøen, der dog er en del mindre og omkranset af træer. I disse tre lergrave blev der fra ca. 1900 til slutningen af 1980’erne, gravet ler til brug ved fremstilling af klinker, rør m.m.
Pyritsøen blev tidligere omtalt som Sorthat Lergrav, man mente dog at den skulle have navneforandring, da de andre søer i området har nogle pæne navn. Man valgte at kalde den Pyritsøen, netop fordi der i området også findes Pyrit (Svovlkis, måske bedre kendt som narreguld).
Men ud over kul og ler, har man også fundet andre særdeles spændende ting ved søen. På stranden ved Pyritsøen, fandt man i 2004, spor efter en dinosaurus og i 2010 fandt man endnu et.
Hvis man kan lide at sidde med en fiskestang, er det tilladt af fiske i Pyritsøen, Safirsøen og Rubinsøen uden fisketegn.
Men tidens tand er ved at indhente Pyritsøen. Østersøens kraftige bølger har gennem tiden skyllet en stor del af jord og affaldsprodukter fra Klinkefabrikken mellem havet og søen væk, så der nu kun er ca. 12 – 15 m tilbage inden havet bryder igennem. Man kan ikke spå om hvornår det sker, om der drejer sig om måneder eller år, det afhænger helt af hvor mange storme Østersøen byder på. Men når det sker, vil det få en særdeles stor betydning for livet i søen, når ferskvandet bliver til saltvand.
