На танке КВ-2 устанавливалась 152-мм танковая гаубица обр. 1938/40 гг.(М-10Т) танковый вариант полевой гаубицы образца 1938 года (М-10). Гаубица М-10Т монтировалась на цапфах в башне и была полностью уравновешена, однако башня с орудием М-10Т уравновешенной не являлась: её центр масс не располагался на геометрической оси вращения. Как результат, штатный электромотор привода поворота башни даже при небольшом крене машины не справлялся со своей задачей. Гаубица М-10Т имела вертикальные углы наводки от −3 до +18°, при фиксированном положении башни она могла наводиться в небольшом секторе горизонтальной наводки (т. н. «ювелирная» наводка). Выстрел производился посредством ручного механического спуска.

Боекомплект орудия составлял 36 выстрелов раздельного заряжания. Выстрелы (снаряды и метательные заряды в гильзах) укладывались в башне и вдоль обоих бортов боевого отделения. По сравнению с широким ассортиментом боеприпасов 152-мм гаубицы М-10 штатный боекомплект КВ-2 был ограничен только одним видом боеприпасов:

осколочно-фугасная стальная гаубичная граната ОФ-530 массой 40 кг (масса взрывчатого вещества — тротил или аммотол — от 5,47 до 6,86 кг) и специальным зарядом, получаемым из штатного заряда Ж-536 буксируемой гаубицы М-10 удалением нескольких равновесных пучков пороха.

Однако на практике в обстановке хаоса лета 1941 года из-за отчаянного положения с обеспеченностью КВ-2 положенными по штату боеприпасами применялись любые виды 152-мм гаубичных снарядов, которые только удавалось найти (в некоторых военных округах комплектность была на уровне 10 %, в других штатных боеприпасов для КВ-2 не было вовсе). То есть могли использоваться как бетонобойные снаряды Г-530, так и осколочные гаубичные гранаты сталистого чугуна О-530А, зажигательные снаряды, старые фугасные гранаты, шрапнель. Стрельба на полном заряде категорически запрещалась, так как из-за больших отдачи и отката могло заклинить башню, от сотрясения могли пострадать узлы и агрегаты моторно-трансмиссионной группы. По последней причине стрельба дозволялась только с места, что еще больше повышало уязвимость танка в бою. Бронепробиваемость снарядов танковой гаубицы М-10Т в доступных источниках не приводится, однако на практике ей было по силам пробить броню любого бронеобъекта вермахта в 1941 и начале 1942 года. Бронепробиваемость снаряда составляла 72 мм стали с расстояния 1500 метров.

На серийном танке КВ-2 устанавливались три 7,62-мм пулемёта ДТ: спаренный с орудием, а также курсовой и кормовой в шаровых установках. Боекомплект ко всем ДТ составлял 3087 патронов. Эти пулемёты монтировались таким образом, что при необходимости их можно было снять с монтировок и использовать вне танка. Также для самообороны экипаж имел несколько ручных гранат Ф-1 и иногда снабжался пистолетом для стрельбы сигнальными ракетами.