东北三省虽然被沙俄侵占了，但是广大人民群众并没有被侵略军的婬威所屈服。他们纷纷组织起来，在北起大小兴安岭，南至黄海、渤海之滨的广阔地域内，进行“御俄寇，复国土”的武装斗争。八国联军统帅瓦德西在给德皇的报告中说：“俄国占领满洲一事，曾遇不少困难”。中国东北地区“常有武装完备之骑兵数百成群，袭击俄军，使其坐卧不宁”。①在东北三省中，吉林省的群众武装抗俄组织声势最大。力主投降议和的吉林将军长顺曾奏称：吉林省镑处“土匪”四起，“聚集大股”，“负嵎自固，往往俄兵前往剿捕，亦屡多挫失”。①
在吉林抗俄群众武装中，规模较大者有三支：一是以刘永和（绰号刘单子或刘弹子）为首的忠义军；一是以王和达、董教敏为首的义和团余部及农民军；一是以杨玉麟（又称杨毓林）为首的镇东军。刘永和原籍山东，猎户出身，早年在吉林珲春一带投身“绿林”，因槍法出众，成为首领。1900年7月，他率部协助珲春副都统英联所部清军在珲春一带抗击俄军。珲春失守后，他率部西走，沿途吸收了一部分被打散的清军兵弁，后在磨盘山（今盘石）一带继续抗击俄兵。11月，刘永和率部进攻朝陽镇（今辉南），击败前往镇压的清军海龙总管依凌阿部，进入通化县境，并于12月攻克通化县城。王和达是贫苦农民，董教敏是通化县的老道，他们率领的队伍活动于海龙、通化交界一带的山区。杨玉麟是盛京省扒平人，先在长顺收编的清军镇东营唐殿荣部任帮带，唐被部下刺死后，杨被推举为该部首领。杨即以镇东军官军名义进入朝陽和海龙，后因部下不愿“受官家约束”，便独立活动于附近各地。1901年1月下旬，上述三支抗俄义军以及被吸收的地方团练李贵春部，在海龙实行联合，统称忠义军，刘永和被推举为总统，统率全军。忠义军基本沿用绿营编制，总统以下有帮统、统领、营官、帮带、哨长等。与刘永和兄弟相称的刘秉和（绰号黑刘）为帮统，王和达、董教敏、李贵春、杨玉麟等为统领，各统率数营。忠义军共编有四十营，拥众数万。
除民众抗俄武装外，还有晋昌、寿长率领的清军万余人，在奉天失陷以后，于法库门等地继续坚持抗俄斗争。
忠义军有力地打击了沙俄侵略者。他们利用通化、海龙一带的有利地形，时而荫蔽于深山密林之中，时而出现于交通要道之间，或声东击西，或据险设伏，打得敌人晕头转向，惶恐万状。忠义军英勇抗俄的行动，进一步激发了人民群众的斗志。辽东各地群众抗俄组织纷纷打起忠义军的旗号，进行武装斗争，以致连盛京省辟员也不知虚实，认为忠义军有“二十万，非饰词也”①。
当时，俄军驻盛京省的司令部设于奉天故宫内，并在辽陽、奉天一带驻有重兵。为了加强与吉林俄军的联系，在奉、吉之间设有传递哨多处，有七十余名哥萨克骑兵往来联络。此外，在铁岭设有四个哨所，每天派出军官侦察队，侦察忠义军的行动。
为了瓦解抗俄力量，沙俄侵略者勾结投降派长顺、增祺等人，进行种种陰谋活动。长顺等以“背叛朝旨”、“拥兵自卫”、“贪功肇衅”等罪名，多次奏参晋昌。当时，清廷以慈禧、李鸿章为代表的投降派，正在京师向主战大臣问罪，故将晋昌开缺查办，将其所统清军交投降派清锐接统。这样，俄军得以集中力量镇压忠义军。
1901年4月中旬，俄军分路向忠义军发动进攻：由吉林伊通发兵进攻海龙的杨玉麟部；由奉天发兵进攻通化的刘永和部。
杨玉麟部闻俄军来犯，为避敌锋芒，主动撤离海龙，于大围场与前往镇压的敌军遭遇，因寡不敌众，复退至昌图，后又转入蒙古境内。杨玉麟率部撤离海龙县后，李贵春、董教敏于5月初出敌不意地率两千余人冲入海龙县西南的山城镇，在十天左右的时间内三进三出，缴获俄军屯积的军粮二十余车，并捣毁官衙，烧掉粮册，严惩了与俄军勾结的奸商。
通化地区的忠义军刘永和部，在俄军进犯时，采取避敌锐气，攻其必救的战法，以主力绕至敌后，直捣新宾堡（今新宾北），重创该处俄军，随后直逼兴京（今新宾）。兴京是清太祖努尔哈赤建立的后金的第一个都城。城西的永陵，是清廷祖先的陵寝所在地，由兴京副都统灵熙率兵护卫。灵熙得知忠义军将至，向增祺告急，无耻地要求俄军出兵，帮助保护清廷祖先的坟墓①。增祺闻讯后，增派营官刘振发所部前往协守，附近的俄军亦驰往助战。4月19—20日，忠义军在兴京附近同俄军、清军激战两日。俄军死伤惨重，乃将进攻通化扑空的部队调回援救兴京。刘永和等鉴于军火不继，而通化的威胁又已解除，遂主动将部队撤回通化一带。
忠义军转回通化后，进行了新的部署：由刘永和、董教敏率大部分队伍先就地休整，制造军械，筹集粮饷，然后乘虚出击；由王和达、李贵春率一支队伍驻守山城镇，准备阻击企图从奉天、吉林再度来犯之敌；由郑兰亭（绰号老君炉）率一支骑兵，向凤城挺进。至6月21日止，忠义军连克怀仁（今桓仁）、太平哨、宽甸、凤城、安东（今丹东）等城镇，收复了盛京省东部、吉林省南部大片领土。此外，刘永和还率领忠义军主力，联络附近百余里的各支义军围攻海龙。各路义军彼此支援，互相配合，一时威震吉林、盛京两剩
忠义军的节节胜利，使沙俄侵略者及其走狗长顺之流坐卧不安。在沙皇尼古拉二世一再电令下，阿列克谢也夫于6、7月间派遣大队人马，围攻通化、海龙、凤城等地的忠义军。同时，派遣叛徒、密探潜入忠义军中，进行挑拨离间，分化瓦解。长顺等人还号召地主豪绅举办团练，配合俄军的“围剿”，并陰谋收买忠义军中的动摇分子。
忠义军利用通化、海龙、凤城一带的有利地形，采取适合自身特点的战术与敌人周旋。在敌人猛扑过来时，先将队伍撤至深山密林中，尔后昼伏夜出，袭击敌军，胜则乘势追击，败则退据深山；对俄军大部队，“不与力战”，“只于云陰月黑之夜劫营”，“用善槍者近敌营，伏暗中狙击，别以他卒鸣槍诱之，俄军出则狙击之”；若俄军“伏匿不动”，则“俟其懈，出其不意击之”；若“自料不敌，则蛇行引退”。①忠义军实行这一套灵活的打法，不断地消耗敌人兵力，有效地保存了自己的力量，使俄军的“围剿”落空，且受创甚巨。
敌人的武力“围剿”，并没有把忠义军打垮，但敌人的招抚伎俩，却取得了效果。忠义军的成员，除了农民、猎户、筑路民工、矿工、伐木工人、小商贩以外，还有大量的清军溃卒游勇和地方乡勇富户、地痞恶棍等，趁忠义军势力发展之际，混迹其中，以致成分相当复杂。而忠义军的领导人刘永和等，不但毫无警惕，反而以此“自诩其众”，“以虚声相炫耀”。在这些人中，虽然有一部分人具有不同程度的反帝爱国热忱，但对清王朝的认识却很模糊。刘永和本人对清廷也抱有幻想，一度几乎接受招抚。所以，在物资匮乏、斗争环境艰苦或形势不利的情况下，有些人极易被拉拢收买，倒戈背叛。如投机商人林成岱，曾为清军哨官，在自称忠义军后，四次攻克新宾堡，但不久便被俄军收降，改编为“花膀子队”，充当了镇压忠义军的鹰犬。此外，李贵春在通化被叛徒刺杀，刘永和的得力助手、忠义军帮统刘秉和在怀仁被俘牺牲，使忠义军的力量日益削弱，以致刘永和、杨玉麟等主要领导人再次动摇，于1901年冬先后与长顺接洽受抚事宜，结果被俄军劫持到伯力。不久，俄军又将刘永和解回珲春，利用他的名义收缴其部下的槍械，瓦解忠义军。1901年冬，忠义军的抗俄斗争便基本上失败了。
忠义军的斗争虽然失败了，但是东北人民的反帝爱国斗争仍在继续进行。沙俄侵略者虽然可以在东北三省的统治者中找到忠实于自己的走狗，但是却逃脱不了人民的惩罚。正是由于东北三省人民的英勇斗争，以及其它帝国主义出于自己的侵略目的，反对沙俄独吞中国的东北，才迫使它在1902年4月8日，同清政府签订了《中俄收交东三省条约》。条约规定，俄军于十八个月内分三批撤出东北三剩于是，沙俄企图把我国东北三省变成“黄俄罗斯”的梦想终于未能实现。