山伟，字仲才，河南洛陽人，其祖先为代人。祖山强，容貌美好，身长八尺五寸，工于骑射，弯弓力量可达五石。任奏事中散，跟从显祖打猎方山，有两只狐狸从御座前惊起，帝令山强射之，百步内两只狐狸都被射倒。官做到内行长。父山稚之，为营陵令。山伟随父到县，师事县人王惠，广读文史。山稚之官至金明太守。
肃宗初年，元匡任御史中尉，举山伟兼侍御史。入衙五天，便逢皇帝元旦朝会群臣。山伟司掌神武门，其妻堂叔为羽林队主，在殿门前打直长，山伟立即弹劾于皇帝。元匡称赞他，不久官即为正。帖国子助教、迁任员外郎、廷尉评。
当时天下无事，进官十分困难，代郡迁南的人，大多没有升职。及六镇、陇西二方叛逆乱起，领军元叉想启用代郡南迁的寒士为传诏使者以慰悦人心，而牧守子孙投状求此职的多达一百多人。元叉又想杜绝这种现象，因此启奏立勋附队，令各依门第出身。从此北人都被收录。山伟于是奏记，赞颂元叉的美德。元叉从来都不认识山伟，找侍中安丰王元延明、黄门郎元顺询问，元顺等因此称荐他。元叉令仆射元钦引山伟兼任尚书二千石郎，后正名士郎。修撰起居注。仆射元顺主持选举，表荐山伟为谏议大夫。
..朱荣加害朝官，山伟当时在朝廷值班，所以免于祸难。及庄帝入宫，除他为给事黄门侍郎。这以前，山伟与仪曹郎袁升、屯田郎李延孝、外兵郎李奂、三公郎王延业等人并驾而行，山伟稍稍居后。路上碰到一个尼姑，她望他们叹气说：“这些人哪，将会同日而死。”对山伟说：“君刚近天子，当作好官。”而袁升等四个人，都在河陰遇害，果然应验了她说的话。不久，领任著作郎。前废帝登极，除授安东将军、秘书监，仍为著作。
当初，..朱兆攻入洛陽，官员奔散而去，国史典书高法显秘密埋起史书，所以书不遗落。山伟把这当作自己的功劳，诉述皇上请求赏爵。山伟附迎..朱世隆，遂封东阿县伯，而法显只获男爵。山伟不久官进侍中。孝静初年，除授卫大将军、中书令，监修起居。后以本官又领著作，卒于官。朝廷赠其为骠骑大将军、开府仪同三司、都督、幽州刺史，谥称文贞公。
国史从邓渊、崔琛、崔浩、高允、李彪、崔光以来，众人相继撰录，綦隽以及山伟等谄说上党王元天穆及..朱世隆，认为国书正应该是代人修撰编辑才对，不宜交付他人，所以綦隽、山伟等人执掌大籍撰修。綦隽、山伟等人得修史书，守旧而已，没有记述著录。所以自崔鸿死后，迄止山伟，二十来年，时事荡然不记，以至万不记一，后人执笔，无所凭据，史实遗缺，都是因为山伟。他外示沉厚，内心实是矫浮。山伟与綦隽少年时代很是要好，后来因名位问题，便如水火不容。与宇文忠之这些代人结为朋党，当时有见识的人都畏惧厌恶他。而他爱好文史，老而更爱。山伟弟弟早亡，他抚寡训孤，与侄儿们同居二十多年，恩义很厚。山伟不营产业，身死之后，卖房营葬，妻子儿女沦至飘泊，士友叹悯他们。长子昂袭承爵位。