Vor der „Entdeckung“ der Insel durch europäische Seefahrer wurde Fraser Island bereits von drei Stämmen der Aborigines bewohnt: den Badjala, den Ngulungbara und den Dulingbara. Diese drei Stämme lebten in verschiedenen Teilen der großen Insel, perfekt eingestellt auf ihre jeweilige Lebensumgebung. Fraser Island ermöglichte es, an den Küsten Fischfang zu betreiben oder sich von der reichen Tierwelt des Insel zu ernähren. Die Möglichkeiten waren reichhaltig, und die Aborigines nutzten sie alle.
Zuerst erwähnt wird Fraser Island höchstwahrscheinlich vom berühmten Captain James Cook, der 1770 ungefähr in der Gegend der heutigen Insel eine Küste ausmachte, diese aber nicht ansteuerte und auch nicht genauer aufzeichnete.
Mehr als fünfzig Jahre später entdeckte Captain William Edwardson bei einer Fahrt um Fraser Island, dass es sich bei diesem Küstenstrich um eine bis dato wenig erforschte Insel handelte.
Es sollte allerdings noch einige Jahre dauern, bis europäische Siedler die Insel betreten würden. Vorher spielt sich noch eine der berühmtesten Episoden der kurzen australischen Geschichte ab.
1836 nämlich strandete der Segler „Stirling Castle“ vor der Küste von Mackay. Captain Fraser und seine Frau sowie wenige andere Überlebende des Unglücks trieben tagelang auf Wrackteilen über das Meer, ehe sie die Küste von Fraser Island entdeckten. Völlig entkräftet versuchten sie, die Küste zu erreichen, was ihnen schließlich auch gelingen sollte (allerdings eher durch günstige Strömung denn durch eigene Kraft).
Die Frasers gerieten zusammen mit fünf anderen Schiffbrüchigen in Gefangenschaft der ansässigen Aborigines. Alle männlichen Überlebenden des Unglücks sind verschollen; nur Mrs. Fraser überlebte und schaffte es viel
später, ihre Geschichte niederzuschreiben, was ihr großen Ruhm einbrachte.
Erst Jahre nach der Begegnung der Frasers mit den Aborigines von Fraser Island begann die Besiedlung, vor allem aber die wirtschaftliche Nutzung der Insel. Vor allem der Holzschlag ging rasch voran – riesige Wälder wurden abgeholzt, um Baumaterial für die Siedlungen der Insel zu schaffen, vor allem aber auch für den Export. Die Aufforstung begann mitunter erst nach dem Entstehen eines Bewusstseins für die Beschränktheit der irdischen Ressourcen, was in einzelnen Fällen beinahe hundert Jahre später war.
Natürlich ging die Ankunft der europäischen Siedler und Arbeiter (wobei der Ausdruck eruopäisch hier fragwürdig ist, sahen sich zu dieser Zeit viele der Neuankömmlinge doch bereits als Australier) nicht vonstatten, ohne die Aborigines zu betreffen. Mit der Entdeckung und Nutzung der Insel begann die Deportation der Aborigines, die sich mit den Gegebenheiten eines neuen Lebensraumes ebenso konfrontiert sahen wie mit einem rapiden Wandel des Kontinents, der früher einmal allein von ihnen bewohnt worden war.
1937 endete diese Deportation mit der Umsiedlung von „Banjo“ Henry Owens, der in die Cheerbourg Mission Station gebracht wurde.
Entscheidend für das heutige Bild der Insel ist auch der in den siebziger Jahren des 20. Jahrhunderts einsetzende Tourismus. Im Zuge dieses erhöhten öffentlichen Interesses wurden verschiedene Kontroverse Diskussionen über den Umweltschutz auf Fraser Island geführt. Vor allem der industrielle Sandabbau auf der Insel wurde heftig debattiert, bis er schließlich 1976 völlig eingestellt wurde.
Seitdem werden große Teile der Insel von den Schutzgebieten verschiedener Nationalparks eingenommen.