Первые Т-34 стали поступать в войска в конце осени 1940 года. К 22 июня 1941 было выпущено 1066 танков Т-34, в приграничных военных округах в составе механизированных корпусов (мк) насчитывалось 967 Т-34 (в том числе в Прибалтийском военном округе — 50 шт., в Западном Особом военном округе — 266 шт. и в Киевском Особом военном округе — 494 шт.). Удельный вес танков новых типов (Т-34, КВ и Т-40 (танк)) в войсках был невелик, основу танкового парка РККА перед войной составляли легкобронированные Т-26 и БТ. С первых же дней войны Т-34 приняли самое активное участие в боевых действиях. В ряде случаев Т-34 добивались успеха, но в целом их использование, как и танков других типов, в ходе приграничного сражения оказалось малоудачным — большинство танков было быстро потеряно, при этом наступление немецких войск остановить не удалось. Достаточно характерна судьба машин 15мк, имевшего на 22 июня 1941 года 72 Т-34 и 64 КВ. За месяц боёв почти все танки мехкорпуса были потеряны. В качестве причин малой эффективности и высоких потерь Т-34 в этот период называется слабая освоенность новых танков личным составом, тактически неграмотное использование танков, дефицит бронебойных снарядов, конструктивные недостатки слабо отработанных в серийном производстве машин, недостаток ремонтно-эвакуационных средств и быстрое перемещение линии фронта, что заставляло бросать вышедшие из строя, но ремонтопригодные танки.

В боях лета 1941 года быстро выяснилась недостаточная эффективность против Т-34 наиболее массовых в то время в немецкой армии 37-мм противотанковых пушек Pak 35/36, а также немецких танковых пушек всех калибров[источник не указан 786 дней]. Однако вермахт обладал средствами, позволявшими успешно бороться с Т-34. В частности, для борьбы с ними в этот период привлекались 50-мм противотанковые пушки Pak 38, 47-мм противотанковые пушки Pak 181(f) и Pak 36(t), 88-мм зенитные пушки, 100-мм корпусные орудия и 105-мм гаубицы[источник не указан 786 дней].

После упразднения разгромленных мехкорпусов, к концу лета 1941 года самой крупной танковой организационной единицей стала бригада. До осени 1941 года отправляемые на фронт с заводов Т-34 составляли относительно небольшой процент среди советских танков и не доставляли немцам особенно серьёзных проблем. Однако поскольку количество танков старых типов быстро сокращалось, доля Т-34 в составе советских танковых сил постепенно росла — так, к 16 октября 1941 года на Московском направлении из имевшихся 582 танков почти 42 % (244 танка) составляли Т-34. Внезапное появление новых машин на фронте произвело большой эффект на немецких танкистов,ведь немецкие танки были почти бессильны против Т-34 и КВ. :

После битвы за Москву, Т-34 становится основным танком РККА, с 1942 года их выпускается больше, чем всех остальных танков, вместе взятых. В 1942 году Т-34 принимают самое активное участие в боях по всей линии фронта, за исключением Ленинградского фронта и Кольского полуострова. Особенно значительной была роль этих танков в Сталинградской битве, что связано с близостью к району боевых действий Сталинградского тракторного завода, из цехов которого танки выходили прямо на фронт. Необходимо отметить, что с конца 1941 года немецкие войска начали получать новые, более эффективные средства противотанковой борьбы, в связи с чем в течение 1942 года Т-34 постепенно утрачивал положение относительной неуязвимости от штатных противотанковых средств вермахта. С конца 1941 года немецкие войска стали получать в значительных количествах подкалиберные и кумулятивные снаряды; с начала 1942 года производство 37-мм пушки Pak 35/36 было прекращено, а 50-мм пушки Pak 38 — существенно активизировано. С весны 1942 года немецкие войска начали получать мощные 75-мм противотанковые пушки Pak 40; впрочем, их производство разворачивалось довольно медленно. В войска стали поступать противотанковые пушки, созданные путём переделки трофейных орудий — Pak 36(r) и Pak 97/38, а также, в относительно небольшом количестве, мощные противотанковые пушки с коническим каналом ствола — 28/20-мм sPzB 41, 42-мм Pak 41 и 75-мм Pak 41. Усиливалось вооружение немецких танков и самоходных орудий — они получили длинноствольные 50-мм и 75-мм пушки с высокой бронепробиваемостью. Одновременно происходило постепенное усиление лобовой брони немецких танков и штурмовых орудий.

1943 год стал годом наиболее массового производства и использования танков Т-34 с 76-мм пушкой. Крупнейшим сражением этого периода стала Курская битва, в ходе которой советским танковым частям, основу которых составляли Т-34, совместно с другими родами войск удалось остановить немецкое наступление, понеся при этом крупные потери. Модернизированные немецкие танки и штурмовые орудия, имевшие усиленную до 70—80 мм лобовую броню, стали малоуязвимы для пушки Т-34, при этом их артиллерийское вооружение позволяло уверенно поражать советские танки. Появление мощно вооружённых и хорошо бронированных тяжёлых танков «Тигр» и «Пантера» дополняло эту довольно безрадостную картину. Настоятельно встал вопрос об усилении вооружения и бронирования танка, что привело к созданию модификации Т-34-85.

В 1944 году Т-34 с 76-мм пушкой продолжал оставаться основным советским танком, но с середины года танк стал постепенно вытесняться Т-34-85. В составе советских танковых частей Т-34 приняли участие в крупных наступательных операциях, закончившихся разгромом большого количества немецких частей и освобождением значительных территорий. Несмотря на отставание перед немецкими танками в вооружении и бронировании, Т-34 действовали вполне успешно — советское военное руководство, создав значительный численный перевес и захватив стратегическую инициативу, могло выбирать направления ударов и, взломав оборону противника, вводить танковые части в прорыв, проводя масштабные операции на окружение. Немецкие танковые части в лучшем случае успевали парировать намечавшийся кризис, в худшем — были вынуждены быстро отступать из намечавшихся «котлов», бросая неисправную либо просто оставшуюся без горючего технику. Советское военное руководство стремилось по возможности избегать танковых сражений, предоставляя борьбу с немецкими танками противотанковой артиллерии и авиации.

Значительно выросшая к началу 1945 года техническая надёжность Т-34 позволяла командованию проводить серии быстрых и глубоких операций с их участием. В начале 1945 года штаб 1-й гвардейской танковой армии отметил, что Т-34 перекрывали гарантийные сроки эксплуатации в 1,5—2 раза и имели практический ресурс до 350—400 моточасов.

К началу 1945 года Т-34 с 76-мм пушкой было в войсках уже относительно немного, нишу основного советского танка прочно заняли Т-34-85. Тем не менее, оставшиеся машины, в частности, в виде сапёрных танков-тральщиков, приняли активное участие в сражениях завершающего года войны, в том числе и в Берлинской операции. Некоторое количество этих танков приняло участие в разгроме японской Квантунской армии.