Am 8. August 1938 trafen 300 deutsche und österreichische Häftlinge aus dem KZ Dachau in Mauthausen ein. Hierbei handelte es sich ausschließlich um "Befristete Vorbeugehäftlinge", die im Frühjahr und Sommer 1938 in einer Massenverhaftungsaktion von Kriminalpolizei und Geheimer Staatspolizei (Gestapo) als sogenannte Kriminelle und Asoziale festgenommen worden waren. Ende September 1939 stieg die Zahl der Inhaftierten in Mauthausen auf über 2.500 an, als ein Teil der Häftlinge des KZ Dachau wegen der vorübergehenden Schließung des Lagers nach Mauthausen überstellt wurde. Im März 1940 lieferte die SS mehrere hundert polnische Insassen aus dem KZ Buchenwald in Mauthausen ein. Ab Herbst 1941 folgte die Inhaftierung von mehreren hundert Tschechen und republikanischen Spaniern, über 4.000 sowjetischen Kriegsgefangenen und etwa 2.000 jüdischen Häftlingen aus dem "Protektorat Böhmen und Mähren", Holland und Ungarn.

Die Insassen des KZ Mauthausen arbeiteten zunächst beim Lageraufbau sowie in den Mauthausener und Gusener Granitsteinbrüchen. Trotz der wirtschaftlichen Ausnutzung der Arbeitskraft der KZ-Insassen stand ihre Ermordung eindeutig im Vordergrund. In einem Erlaß vom 1. Januar 1941 von Reinhard Heydrich, Chef des Reichssicherheitshauptamts (RSHA), war Mauthausen als einziges Konzentrationslager "für schwerbelastete, unverbesserliche und auch gleichzeitig kriminell vorbestrafte und asoziale, das heißt kaum noch erziehbare Schutzhäftlinge" in die Lagerstufe III eingeteilt worden.

Ab 1942/43 wurden die KZ-Gefangenen aufgrund des Arbeitskräftemangels vermehrt in der Kriegswirtschaft eingesetzt. So mußten die Häftlinge an mehreren Orten große Stollenanlagen errichten, in denen die Flugzeug- und Raketenproduktion unter der Erde fortgeführt werden sollte. Des weiteren arbeiteten sie in Rüstungsbetrieben wie der Steyr-Daimler-Puch AG, Messerschmitt und den "Reichswerken Hermann Göring" in Linz.

Über 5.000 kranke und geschwächte Insassen des KZ Mauthausen wurden ab August 1941 im Rahmen der "Aktion 14 f 13" "selektiert" und in der "Euthanasie"-Anstalt Hartheim umgebracht. Ab März 1942 existierten auch in Mauthausen und dem Nebenlager Gusen Gaskammern sowie ein Gaswagen, in denen bis Ende April 1945 über 4.000 Menschen ermordet wurden. Außerdem tötete die SS zahlreiche Häftlinge bei Massenerschießungen und durch Herzinjektionen. In den Jahren 1943/44 führten Ärzte des Hygieneinstituts der Waffen-SS Ernährungsversuche und Verträglichkeitstests - beispielsweise Impfungen mit Typhus-Impfstoffen und Cholera-Keimen - an den Häftlingen durch.

Im Zuge der "Evakuierung" der nördlich gelegenen Konzentrationslager ab Frühjahr 1945 wurde Mauthausen ein zentrales Auffanglager. Aufgrund der Überfüllung des Lagers wurden die Lebensmittelrationen drastisch reduziert, Epidemien und ansteckende Krankheiten brachen aus. Tausende kamen so noch in den letzten Kriegsmonaten ums Leben. Trotz der Inbetriebnahme eines dritten Krematoriums in Mauthausen überstieg die Anzahl der Toten die Einäscherungskapazitäten, so daß ein Massengrab für 10.000 Leichen in einer benachbarten Gemeinde angelegt werde mußte.

Mit dem Vormarsch der alliierten Truppen wurden die Nebenlager des KZ Mauthausen Anfang April 1945 geräumt und die Häftlinge auf einen "Todesmarsch" in Richtung Westen getrieben. Am 3. Mai 1945 verließen die Angehörigen des SS-Kommandanturstabs und die SS-Wachmannschaften das Stammlager und übergaben die Wache einer Wiener Feuerwehreinheit. Zwei Tage später befreite eine amerikanische Panzerpatrouille das Hauptlager.

Zwischen 1938 und 1945 waren etwa 200.000 Menschen aus über 20 Ländern in dem Konzentrationslager Mauthausen und seinen zahlreichen Außenlagern inhaftiert. Ungefähr 100.000 Insassen wurden ermordet oder starben an den Folgen der Haft. 1949 wurde auf dem ehemaligen Lagergelände das "Öffentliche Denkmal und Museum Mauthausen" eingerichtet.