杨义臣，代人，本姓尉迟。
父亲尉迟崇，仕北周，为仪同大将军，率兵镇守恒山。
当时，隋高祖任定州总管。
尉迟崇知道高祖相貌非常，常常与他交结，高祖对他很亲近。
高祖为北周丞相后，尉迟迥造反，尉迟崇因与反贼是同族的缘故，把自己关在牢里，派人赴京请罪。
高祖下书慰问他，让他乘驿车回朝，把他老是安排在身边。
开皇初年，封尉迟崇为秦兴县公爵。
过了一年多，他随行军总管达奚长儒到周盘反击突厥，力战而死。
追赠他为大将军、豫州刺史，以尉迟义臣承袭他的官爵。
当时义臣还年幼，养育在宫中。
不满二十岁，就已奉诏像千牛那样当侍卫几年了，皇上给他的赏赐很多。
皇上闲谈时曾说到过去的一些朋友，看着义臣，嗟叹很久。
因此下诏书说：“我刚受命登基时，群凶尚未平定，有识之士，有足可怀。
尉迟义臣与尉迟迥，本同骨肉。
尉迟迥既已作乱于邺城，其父尉迟崇当时在常山，统帅部队，既与尉迟迥相邻，又与尉迟迥是至亲。
他知道逆顺的大理，认识天人的意思，就陈述丹心，担心被反贼牵连，于是自己把自己抓起来，请求到丞相府来。
到北狄入侵时，他又横戈杀敌，轻生重义，马革裹尸。
他的节操表现在生死之上，他的事迹贯穿于人间地下。
即使是给他高官大赏，并让官爵延及于他的子孙，也不足以表彰他松柏一样的壮志，也不足以表彰他的节义门庭。
义臣，可赐姓杨氏，赐钱三万贯，酒三十斛，米麦各百斛，把他编入杨门家谱，作皇帝我的堂孙。”不久，授杨义臣为陕州刺史。
义臣谨慎忠厚，长于骑马射箭，有将领之才，因此皇上很器重他。
其后，突厥达头可汗进犯边塞，义臣以行军总管身份，率领步兵、骑兵三万人马，出白道，与贼人相遇，交战，大破贼人。
次年，突厥人又进犯边塞，雁门、马邑二地多受其害。
义臣打击他们，他们于是逃到塞外，义臣率兵追击，追到大斤山，与贼人相遇。
当时，太平公史万岁的人马也赶到了，义臣与万岁合力击贼，大败突厥兵。
史万岁被杨素陷害致死，义臣的功劳竟不被著录。
仁寿初年，义臣拜授朔州总管，赐给他御用的甲胄。
炀帝继位后，汉王杨谅作乱于并州。
当时，代州总管李景被汉王的部将乔钟葵包围，有诏让义臣去救援他。
义臣率领骑兵、步兵二万，夜出西陉，快天亮时，已赶了几十里路。
乔钟葵侦悉义臣人马少，于是全部上阵来抵抗义臣。
钟葵的副将王拔，骁勇无敌，特善用矛肖，射他又射不中，他常带几个骑兵冲锋陷阵。
义臣特担心他，于是招募能够抵挡王拔的人。
车骑将军杨思恩请求与王拔交战。
义臣见思恩气貌雄勇，对他说：“真是壮士！”赐给他一卮酒。
思恩远远望见王拔站在阵后，就把酒斛往地上一丢，策马而赴敌。
思恩冲了两次，都没有克敌制胜，义臣就又选十几个骑兵随他前去。
思恩于是向前猛冲，杀了几个敌人，一直冲到王拔的军旗下。
两人短兵交战，思恩的随从骑兵退后，于是思恩被王拔所杀。
王拔于是乘胜进军，义臣军退了十几里。
义臣于是赎回思恩的尸体，放声痛哭，三军无不流泪。
思恩的随从骑兵都被腰斩。
义臣因自己兵少，于是把军中的牛和驴子全部清出来，清了几千头，又令兵卒几百人，每人拿一个鼓，偷偷地把牛和驴子赶到山谷里，出其不意。
吃了晚饭，义臣又与钟葵交战，两军刚交手，义臣就命令驱赶牛和驴子的疾速前进。
一时间，战鼓震天，尘埃弥天，钟葵军不知究竟，还以为是伏兵大发，因此大大地溃败。
义臣纵兵反击，大破钟葵。
义臣因战功升任上大将军，赐缣采二千段，杂采五百段，女妓十人，良马二十匹。
继而授他为相州刺史。
三年后，调义臣任宗正卿。
不久，转任太仆卿。
随炀帝征讨吐谷浑。
炀帝令义臣驻军于琵琶峡，军营相连达八十里，南接元寿，北连段文振，把吐谷浑国主包围在覆袁州。
此后又随炀帝征讨辽东，义臣率军直指肃慎道。
到了鸭绿江，与乙支文德交战，义臣每次都当先锋，一天打了七次胜仗。
后与各路人马都打了败仗，竟坐罪免职。
不久复职。
次年，以义臣为副将，与大将军宇文述去进攻平壤。
到了鸭绿江，碰上杨玄感作乱，班师回朝，代理赵郡太守。
妖贼向海公聚众作乱，寇掠于扶风、安定两地之间，义臣奉圣旨扫平了他们。
继而随炀帝再征讨辽东，义臣升为左光禄大夫。
当时渤海人高士达、清河人张金称，都相聚为盗，已有几万之众，攻陷郡县。
炀帝派将军段达进讨，不能取胜。
有诏让义臣率领从辽东回来的兵马几万去进剿。
义臣大破高士达，斩了张金称。
又收拾降兵，进入豆子赹，讨伐格谦，活捉了他。
义臣报告了朝廷。
炀帝厌恶他的威名，急急追他入朝。
贼人因此又强大起来。
义臣因军功升任光禄大夫，不久拜授礼部尚书。
不久，在官任上去世。