В 1704 году русские войска продолжили своё наступление. К концу 1703 года Россия контролировала почти всю территорию Ингерманландии. Русские войска под командованием Бориса Шереметева к лету 1704 года вошли в Ливонию и осадили Дерпт. В июле 1704 года при личном участии Петра I крепость была взята.

Летом 1704 года вторая группа русских войск под командованием генерала Огильви вошла в Эстляндию и осадила Нарву. К концу лета после приезда Петра I из Дерпта и эта крепость была взята. Успешный штурм крепостей продемонстрировал возросшее мастерство и оснащённость русской армии.

Карл XII принял решение не продолжать активные военные действия против русской армии, а нанести основной удар по войскам Августа II. Шведский король намеревался установить в Польше власть выгодного ему монарха, сменив Августа II, чтобы превратить Речь Посполитую в буферную зону между шведами и русскими. В июле 1701 года шведские войска, не встретив серьёзного сопротивления, пересекли Двину и заняли Ливонию.

Шведские войска вторглись на польскую территорию и нанесли несколько крупных поражений армии Августа II. В 1701 году была взята Варшава, в 1702 году одержаны победы под Торунью и Краковым, в 1703 году — у Данцига и в Познани. А 14 января 1704 года сейм низложил Августа II в качестве короля Речи Посполитой и избрал новым королём шведского ставленника Станислава Лещинского.

Действия Карла XII вызвали недовольство в Речи Посполитой. Собравшаяся в 1704 году Сандомирская конференция объединила сторонников Августа II и объявила о непризнании Станислава Лещинского королём.

19 (30) августа 1704 года был заключён Нарвский договор между Россией и представителями Речи Посполитой о союзе против Швеции; согласно этому договору Речь Посполитая официально вступала в войну на стороне Северного союза. Россия совместно с Саксонией развернула военные действия на польской территории.

В 1705 году была одержана победа над войсками Лещинского у Варшавы. В конце 1705 года основные русско-польские силы под командованием короля Августа остановились на зимовку в Гродно. Вскоре король покинул расположение армии, сдав командование фельдмаршалу Георгу Огильви. Неожиданно в январе 1706 года Карл XII выдвинул в этом направлении крупные силы. Союзники рассчитывали дать бой после подхода саксонских подкреплений. Но 2 (13) февраля шведы нанесли сокрушительное поражение саксонской армии в битве при Фрауштадте, разбив вдвое превосходящие силы противника. Оставшись без надежды на подкрепление, русская армия была вынуждена отступить в направлении Киева. Фельдмаршал Огильви сумел осуществить блестящий манёвр, воспользовавшись вскрытием рек. Король Карл, не ожидавший такого, только через две недели сумел собрать армию и выступить в преследование. Ввиду весенней распутицы шведская армия застряла в Пинских болотах и король отказался от преследования армии Огильви. Вместо этого он бросил свои силы на истребление городов и крепостей, где находились польские и казацкие гарнизоны. В Ляховичах шведы заперли отряд переяславского полковника Ивана Мировича. В апреле 1706 года по приказу «Войска Запорожского обеих сторон Днепра гетмана и славного чина святого апостола Андрея кавалера» Ивана Мазепы к Ляховичам, для вызволения Мировича, посылается полк Семёна Неплюева, который должен был соединиться с миргородским полком Войска Запорожского полковника Даниила Апостола. В результате боя у Клецка казацкая конница, поддавшись панике, растоптала пехоту Неплюева, и шведы смогли нанести поражение русско-казацким войскам. 1 мая Ляховичи сдались шведам.

Но Карл вновь не последовал за войсками Петра, а, опустошив Полесье, в июле 1706 года развернул свою армию против саксонцев. На этот раз шведы вторглись уже на территорию самой Саксонии. 24 сентября (5 октября) 1706 года Август II втайне заключил мирное соглашение со Швецией. По договору он отказывался от польского престола в пользу Станислава Лещинского, разрывал союз с Россией и обязывался выплатить контрибуцию на содержание шведской армии.

Тем не менее, не решаясь объявить о предательстве в присутствии русской армии под командованием Меншикова, Август II вынужден был со своими войсками участвовать в сражении при Калише 18 (29) октября. Битва закончилась полной победой русской армии и пленением шведского командующего. Это сражение стало крупнейшим с участием русской армии с начала войны. Но несмотря на блестящую победу, Россия осталась в войне со Швецией в одиночестве.

В течение 1707 года шведская армия находилась в Саксонии. За это время Карлу XII удалось восполнить потери и существенно укрепить свои войска. В начале 1708 года шведы двинулись в направлении Смоленска. Принято считать, что первоначально они планировали основной удар в направлении Москвы. Положение русских осложнялось тем, что Петру I не были известны планы противника и направление его движения.

3 (14) июля 1708 года Карл одержал победу в битве при Головчине над русскими войсками под командованием генерала Репнина. Это сражение стало последним крупным успехом шведской армии.

Дальнейшее продвижение шведской армии замедлилось. Стараниями Петра I шведам приходилось передвигаться по опустошённой местности, испытывая острый дефицит провизии. К осени Карл XII вынужден был повернуть на юг в направлении Украины.

28 сентября (9 октября) в битве у деревни Лесной войска Петра I разгромили корпус Левенгаупта, двигавшийся из Риги, чтобы присоединиться к главной армии Карла. Это была не просто победа над отборными шведскими войсками — впервые была одержана победа над превосходящими силами противника. Царь Пётр назвал её «матерью Полтавской баталии». Пётр Алексеевич лично командовал одной из двух колонн «летучего» корпуса русской армии — корволанта. Под его командованием находились Преображенский и Семёновский полки, батальон Астраханского полка и три драгунских полка. Другой колонной (левой) командовал генерал А. Д. Меншиков. Неприятельский корпус был настигнут близ деревни Лесной. Шведскому военачальнику пришлось принимать бой, который начался с атаки русских. Пётр I с приходом свежей драгунской конницы отрезал противнику дорогу на Пропойск и усилил натиск на шведов. Вечером сражение прекратилось из-за наступивших сумерек и начавшейся вьюги, которая слепила глаза. Левенгаупту пришлось уничтожить остатки своего огромного обоза (бо́льшая часть его стала русской добычей), и его корпус, преследуемый русской кавалерией, сумел добраться до королевского походного лагеря.

Общие потери шведов составили 8,5 тысяч убитыми и ранеными, 45 офицеров и 700 солдат попали в плен. Трофеями русской армии стали 17 орудий, 44 знамени и около 3 тысяч повозок с провиантом и боеприпасами. К королю генерал Левенгаупт смог привести всего лишь около 6 тысяч деморализованных солдат.

В октябре 1708 года стало известно о переходе гетмана Ивана Мазепы на сторону Швеции. Гетман Мазепа состоял в переписке с Карлом XII и обещал ему, в случае прибытия на Украину, 50 тыс. казацкого войска, продовольствие и удобную зимовку. 28 октября 1708 года Мазепа во главе отряда казаков прибыл в ставку Карла.

Из многотысячного украинского казачества Мазепе удалось привести всего около 5 тысяч человек. Это было связано с тем, что Мазепа слишком медлил с оглашением своего решения народу. Петр оказался более смекалистым и первым огласил о предательстве Мазепы. Поэтому гетмана поддержали только запорожцы. Впрочем им так и не пришлось принять участие в битве под Полтавой, что тоже повлияло на исход боя.

В этой крайней восточной точке движения шведской армии при вторжении в Россию, в небольшом смоленском селе состоялся военный совет короля с его генералами. Решался вопрос о дальнейшем движении шведской армии: через Смоленск прямо на Москву или на юг на Украину. Вследствие болезней и плохого обеспечения питанием и амуницией, шведская армия нуждалась в отдыхе, поэтому, учитывая щедрые посулы Мазепы и его заверения в поддержке населения Украины, было выбрано движение на Украину.