Kempff começou os estudos de piano com o pai, organista da Igreja de São Nicolai, em Potsdam, e depois aos nove anos entrou para Academia de Músicos de Berlim, onde estudou piano e composição.
Em 1916, Wilhelm Kempff iniciou sua carreira como pianista com o Coro da Catedral de Berlim, viajando pela Alemanha e Escandinávia.
Em 1917, fez sua primeira apresentação como solista na Academia de Canto de Berlim.
Kempff se especializou no repertório clássico e romântico alemão do século 19, especialmente as sonatas de Beethoven.