Hij is de zoon van kunstschilder Hendrik Maarten Krabbé (1868-1931) en zangeres Miep Rust (1874-1956). Zijn zusters waren Henny Eskens-Krabbé (verzetsheldin in de Tweede Wereldoorlog) en Lies van Buren-Krabbé.

Krabbé groeide op in Het Gooi, waar hij intensief van de natuur genoot, hetgeen later in zijn werk zichtbaar wordt. Hij verhuisde in 1913 naar Bussum en in 1922 naar Zandvoort.

Na drie jaar op de hbs in Haarlem stond zijn vader hem toe schilder te worden, waarna hij van 1926 tot 1930 een opleiding aan de Rijksakademie van Beeldende Kunsten in Amsterdam volgde.

Hij huwde met Margreet Reiss, schrijfster en vertaalster. Zij kregen twee zonen: Tim Krabbé (schaker en auteur) en Jeroen Krabbé (acteur, regisseur en kunstschilder). Halverwege de jaren vijftig scheidden zij en in 1959 trouwde hij opnieuw, met Helena Verschuur. Zij kregen een zoon, Mirko Krabbé (ontwerper, kunstschilder)