1968年年底乌苏里江封冰后，珍宝岛成为双方冲突的焦点。12月27日，苏联边防军出动装甲车、卡车运载携带武器的军人登上珍宝岛，拦截上岛的中国边防巡逻队，并用棍棒殴打中国边防巡逻人员，中方人员用棍棒进行还击。在1969年1月23日的殴打中，中国边防人员有28人负伤，部分武器被抢走。进入2月份后，只要中国边防人员登上珍宝岛，苏军就立即进行干涉，而且苏军出动的人员往往是中方人员的2至3倍。从2月6日至25日，曾发生五起苏军殴打中国边防人员的事件。2月7日，还发生了苏军人员以冲锋枪向中国巡逻队方向发射6个点射的严重事件。但中国边防人员保持克制，并未开枪还击。

因苏军在珍宝岛一再挑衅，中方开始考虑采取必要措施进行还击。1969年1月25日，黑龙江省军区制定了在珍宝岛进行反对苏军干涉的方案，打算以三个连的兵力参加战斗，以一部兵力上岛潜伏，如苏方以武力强行干涉我巡逻分队执行任务，潜伏分队视情况给予支援。2月19日，总参谋部批准了黑龙江省军区的方案。

可以肯定地说，中方对苏军的反击是经过充分准备的。经中央军委批准后，沈阳军区作了周密部署，抽调精干小分队，准备对付苏军的入侵和挑衅。黑龙江省军区决定，在靠近珍宝岛的边防站成立临时指挥所，沈阳军区还成立了虎（林）饶（河）前线指挥部。中央军委、沈阳军区强调，自卫还击要严格限制在乌苏里江主航道中心线中国一侧，行动要迅速，不纠缠、不恋战，取得胜利后立即撤至有利地区。

3月2日，双方在珍宝岛发生了第一次武装冲突。当天，虎饶前线指挥部决定派出部队前往珍宝岛巡逻，并向中国一侧岸上派出2个步兵连、4个侦察排、1个无后座力炮排和1个重机枪排，秘密掩护巡逻分队，遇到情况时即可采取行动。上午8时40分，中国边防部队两个小组共30人前往珍宝岛巡逻。其中，孙玉国带领的第一巡逻小组上岛后，很快就被对面苏军发现。10分钟后，苏军立即从两个边防哨所派出70人，分乘2辆装甲车、1辆卡车、1辆指挥车向珍宝岛驶来，试图堵截中国巡逻队。

此前，苏军上岛阻拦中国边防巡逻队时，通常是手持棍棒，枪背在肩上，也不戴钢盔。但是，这一天，苏军手持冲锋枪，头戴钢盔，随时准备进入战斗状态。原来，苏军远东指挥部已下令，指示驱赶中国“越境”人员，必要时可以开枪。苏军上岛后，立即对中国边防巡逻队形成包围之势；企图迫使中国巡逻队后退。中国巡逻队要求苏军离开珍宝岛，苏军不予理睬，继续向前进逼。此时，未被苏军发现的中国边防第二巡逻小组突然出现在眼前，并从苏军侧翼穿插过来，挡住苏军的一支小分队。苏军发现中国军队早有准备，仓促之中向中国边防巡逻队开枪。中国巡逻队没有来得及展开，当即伤亡6人。中国边防军第二巡逻小组听到枪声后迅速还击，当场打死苏军7人。这时，正在珍宝岛中国一侧岸上隐蔽待命的部队，也奉命投入战斗。

战斗进行了30多分钟，于9时50分结束，中国边防军打死打伤苏军60多人。据苏方的统计，苏军被打死31人。另外，中国边防军还击毁苏军装甲车1辆、指挥车1辆和卡车1辆，其余苏军人员退出珍宝岛。中国边防军阵亡17人，负伤35人，失踪1人。

当天，中国政府向苏联政府提交了抗议照会，3月4日，《人民日报》、《解放军报》发表了经周恩来修改的社论，指出:长期以来，珍宝岛地区一直在中国管辖之下，我国边防部队人员一直在这个地区进行巡逻。“怎么能够说珍宝岛地区突然跑到‘苏联国境线’那边去了呢？怎么能够说这块中国领土成了苏修边防军‘警卫’的地方呢？明明是苏修军队侵犯中国领土珍宝岛，向中国边防部队人员猖狂进攻，你们却反诬是中国边防部队人员发动‘挑衅’。”

同一天，哈尔滨市一百万军民冒着严寒，举行示威游行。

珍宝岛冲突发生后，苏军在远东地区进入了临战戒备状态。此后，苏军多次派出配备有装甲车的武装部队越过乌苏里江，于3月4日、5日、7日、10日、11日、12日和14日登上珍宝岛。同时，中国边防军继续上岛巡逻，但双方没有发生冲突。

当时任沈阳军区司令员的陈锡联回忆说，这次珍宝岛自卫反击战确实是经过中央批准，早有准备的。当时正准备开九大，大军区首长均已来到北京，因此，中央军委专门在京西宾馆开设了一个房间，架设了专线，由他负责直接与前线联系，外交部副部长乔冠华负责掌握国际方面的情报，随时向周恩来汇报，并由周恩来下最后决心。为了最初的战斗，我们准备了两三个月的时间，从三个军抽调了三个侦察连，一个连二三百人，由有作战经验的参谋人员带队，进行了专门的训练和配备，打得干脆利落。3月2日战斗结束后，“我们知道他们要来，就在江汊口大量埋了地雷。他们首先从西边来了辆坦克，我们给炸了，他们不敢走了。从正面来了30多人，炮火掩护。我们当时在岛上也没有什么人，但炮火都准备好了。在一个不到一平方公里的岛上，苏方出动了几十辆车、几十辆坦克、装甲车，我请示总理:现在是开炮的时候了，得到总理的同意，我就让开炮。打了半个小时，珍宝岛变成一片火海，把他们的车辆都打了。他们没有再增援部队，也用炮向我们射击，我们也用炮回敬他们”。

鉴于苏军装甲车辆频繁进入珍宝岛活动，3月14日夜，中国边防军派出一个步兵班进入珍宝岛警戒，掩护工兵在乌苏里江的江汊上埋设反坦克地雷。此时，苏军向边界地区增加了一个摩托化步兵团、一个坦克营和四个大口径火炮营。3月15日凌晨4时，苏军六辆装甲车乘着黑夜掩护30多名步兵登上珍宝岛，潜伏在丛林里，准备偷袭上岛的中国巡逻队。但是，苏军的举动被中国边防部队发觉，双方随即发生一场更为激烈的冲突。

3月17日，苏联边防军再次出动五辆坦克、70多名步兵，在炮火的掩护下登上珍宝岛，在岛上埋设了大量的防步兵地雷，并想拖走被地雷炸毁的T－62型坦克。中国炮兵群猛烈开火，苏军急忙从岛上撤走。随后，苏军将这辆坦克沉入江底。不久，中国海军在民兵的配合下将这辆坦克捞起，送给了中国军事博物馆。

经3月2日、3月15日和3月17日的战斗，中国边防部队共击毁苏军坦克、装甲车17辆。据苏方统计，苏军在冲突中死58人，伤94人。苏军进攻被打退后，加之岛上又布置了大量地雷，也就没再登上珍宝岛。中国边防军在岛上只留了少量部队。