Предки Кальтенбруннера со стороны отца были кузнецами из Михельдорфа, Верхняя Австрия. Прадед, Карл-Адам Кальтенбруннер, был чиновником в аудиторской палате и поэтом. Дед, Карл Кальтенбруннер, был адвокатом в Грискирхене и более двадцати лет занимал пост бургомистра Эфердинга.

Сын юриста Гуго Кальтенбруннера. Учился в университете в Граце, сначала на химическом факультете, затем на юридическом. В 1926 году получил степень доктора юриспруденции. Занимался юридической практикой в Линце, затем примкнул к политической деятельности нацистов (вступил в австрийскую НСДАП в октябре 1930, в СС — в августе 1931 года). № в НСДАП — 300179, № в СС — 13039. За нацистскую деятельность был арестован властями Австрии, находился под стражей в январе-апреле 1934. В мае 1935 года был вновь арестован по подозрению в государственной измене. Однако был приговорён только к шести месяцам тюремного заключения и к запрету занятия юридической практикой. Впоследствии за эти аресты был награждён партийной наградой НСДАП — «Орденом Крови».

Участвовал в путче 1934 года, во время которого нацистами был убит австрийский канцлер Дольфус. После аншлюса в 1938 году сделал быструю карьеру в органах гестапо; отвечал, в частности, за концлагеря.

30 января 1943 года сменил убитого 4 июня 1942 года в Праге Рейнхарда Гейдриха на посту начальника РСХА (в период с июня 1942 года по 30 января 1943 года этот пост занимал Генрих Гиммлер).

В конце Второй мировой войны Кальтенбруннер был арестован американцами на территории Австрии и предстал перед Международным военным трибуналом в Нюрнберге, который за многочисленные преступления против мирного населения и военнопленных приговорил его к смертной казни через повешение. 16 октября 1946 года приговор был приведён в исполнение. Перед тем, как ему набросили на голову капюшон, Кальтенбруннер произнёс: «Будь счастлива, Германия!» (Deutschland, Glück auf! — буквально «счастливо выбраться», пожелание горняку, спускающемуся в шахту).