Está situada na ribeira norte do lago Möckeln, e o pequeno asentamento foi inicialmente chamado Möckelns bodar. O nome Karlskoga deriva de Carlos (Karl) IX, significando skog bosque.
A parroquia de Karlskoga creouse en 1586 e pouco despois construíuse unha igrexa de madeira. No século XVII establecéronse catorce pequenas ferrerías e oito martinetes para o forxado de ferro. A meirande parte deles aínda estaban operativos na década de 1860, pero a produción dominante de ferro atopábase no de Bofors. En 1871, Bofors produciu 6 124 toneladas métricas de ferro, máis que calquera outra planta en Suecia. En 1882, a parroquia (socken) de Karlskoga tiña 11 184 habitantes.
A cidade de Karlskoga evolucionou ao redor de Bofors, que a finais do século XIX pasou de ser unha fábrica de ferro a fabricar canóns, e no século XX converteuse nunha industria de defensa máis diversificada. O propietario de Bofors máis famoso foi Alfred Nobel, que foi dono da compañía dende 1894 ata a súa morte en decembro de 1896. Nobel tivo un papel clave na remodelación da fábrica de ferro cara a un produtor moderno de canóns e unha industria química. Durante os veráns de 1894-1896 tamén viviu na casa señorial de Björkborn. Aínda que morreu na súa vila en San Remo, Italia e tiña unha casa en París, decidiuse que a súa residencia estaba en Björkborn, en Karlskoga. Debido a isto o seu famoso testamento, escrito en París no ano 1895, foi legalmente rexistrado en Karlskoga, o que finalmente fixo posible establecer os Premios Nobel.
En 1940 a cidade de Karlskoga e os seus arredores (o mesmo territorio do presente municipio de Karlskoga) conseguiron o título formal de cidade (stad). Dende 1971 este termo non ten significado legal e só a área urbanizada é considerada realmente cidade.
