可就在这时，北方的俄罗斯国渐渐强盛起来，他们在满清刚刚兴起的时候，派了远征军，越过外兴安岭，侵占黑龙江北岸。这时清兵正忙着入关，无暇顾及，俄罗斯将领喀巴罗带了几百个俄兵，又将黑龙江北岸的雅克萨侵占了去，并且用土筑城，派兵驻守。这还不止，俄军又分路沿着黑龙江继续往下，被清都统明安达礼和沙尔呼达先后击退，只是雅克萨依然被他占据。
康熙二十一年的时候，三藩相继削平，康熙便想将侵入境内的俄罗斯人驱逐出去，先派了副都统郎坦，以打猎为名，渡过黑龙江侦察雅克萨的地理形势。不久，郎坦回来报告说，俄军兵力不多，容易扫除。康熙于是决定驱逐俄罗斯，并先命令户部尚书伊桑阿，到宁古塔负责监造大船。又修筑了墨尔根、齐齐哈尔两座城市，增添了十个驿站，以便打起仗来水陆联运军粮。接着，又派遣萨布素为黑龙江将军，筹划战备，同时让蒙古的车臣汗断绝了与俄罗斯的贸易。
康熙二十二年，俄罗斯一名叫模里尼克的将军，率领六十多名哥萨克兵，从雅克萨城出发，到达黑龙江下游时，正好遇到清朝的巡逻船，六十多哥萨克兵全部被捉。模里尼克也被捉住，送到齐齐哈尔关了起来。
康熙二十三年，清兵到雅克萨城劝降，俄军拒不投降。
康熙二十四年，清都统彭春率领水陆两军北征，其中陆军大约就有一万人，并随带巨型大炮两百门，水军五千人，战舰一百余艘，从松花江进入黑龙江，黑压压地聚到雅克萨城下。俄将军托尔布津决定死守雅克萨，但其手下仅有四百多兵力。彭春命令他把土城让出来，带兵回国去。托尔布津仗着勇猛善战，不肯服从。清兵于是用大炮轰城，托尔布津开城迎战，气焰十分嚣张。一番混战之后，俄军败北，只得放弃所占土地，退到尼布楚。彭春于是命令士兵将土城捣毁，率兵凯旋。
谁知到了第二年，托尔布津又与陆军大佐伯伊顿一起，再度到了雅克萨，并且重新筑起了土垒，驻兵守卫。彭春又带兵八千人，运了大炮四百门前去进攻。托尔布津命令伯伊顿守住土垒，自己率领部下拼命死战，他手下只有四百多人，前次伤亡了几十名，现在只剩下了三百多人，却能与八千清兵往来冲突。清兵围住这边，他们冲到那边，待围住那边，他又溜到这边。折腾一阵，彭春焦躁起来，下令让部下开炮，那托尔布津还不顾死活，竟然冲上来要夺取炮具。只听得轰的一声，托尔布津中了炮弹倒在地上，俄军这才逃回他们筑起的土垒中。
伯伊顿的部下也只有一两百人，这些人与托尔布津手下的残兵，一起死守土垒。清兵用大炮轰击土垒，他便挖了地洞躲避炮弹，炮弹来了就藏进去，炮弹一停又钻出来，土垒一有破损，马上就修补好。
这段时期，正好从荷兰来清朝贡的使者也在京城，自称与俄罗斯相邻，愿意充当居间调停人。康熙于是让荷兰使臣送信到俄国，信中谴责俄国无故侵略边境地区。不久得到俄国皇帝大彼得的回信，大约是说中俄文字不通而导致了冲突，现在已经了解到是因为边境上的人挑衅所致，所以将派使臣到边境划定界线，但是请求先解除雅克萨的包围。