Despois de rematar os seus estudos primarios marchou a estudar a Delft durante dous anos, onde recibiu formación en linguas clásicas. Entrou na Universidade de Leyden no ano 1885 e non tardou en entrar en contacto con Heike Kamerlingh Onnes, Premio Nobel de Física no ano 1913, quen foi mestre seu durante doce anos. O interese e a paixón do novo Zeeman pola experimentación axiña marabillou ao seu mestre e foi o froito dunha amizade entre os dous científicos que traería grandes éxitos. Algún ano despois tamén entrou en contacto con outro físico, Lorentz, que traballaba en temas de física experimental.
No ano 1893 acadou o título de doutor e marchou a traballar ao Instituto F. Kohlrausch en Estrasburgo, onde traballou con E. Cohn durante seis meses. Mais volveu a Leyden cunha praza de docente que mantivo ata o 1897, ano no que publicou o seu gran traballo, polo que pasou a historia da física e da ciencia, "a división magnética das liñas do espectro electromagnético", tamén coñecido por Efecto Zeeman. Grazas a este traballo no ano 1902, recibiu o Premio Nobel de Física, xunto con Lorentz. No ano 1908 trasladouse á Universidade de Ámsterdam onde substituíu como director do Laboratorio de Física a Van der Waals (Premio Nobel de Física no ano 1910), que se xubilaba.