徐怀玉，本名叫琮，亳州焦夷县人。小时以雄勇俊杰自任，跟随太祖起军。唐朝中和末年，跟随太祖到大梁。光启初年，蔡州贼人屯驻金堤驿，徐怀玉带领轻装骑兵接连打败他们，因而不断升迁直到亲从副将，改任左长剑都虞候。又随从太祖在板桥打败蔡州贼寇，占取秦宗权八座营寨，太祖上奏朝廷加封他为检校右散骑常侍。文德初年，同众军解除河陽之围，从太祖攻下徐州、宿州。乾宁年间，上奏加封为检校刑部尚书，太祖赐名怀玉。在金乡南边打败朱瑾，活捉宗江献上，上表授与金紫光禄大夫、检校右仆射。
乾宁四年(897)，庞师古在清口失利，仅徐怀玉保全军队退回。光化初年，转任滑州右都押牙兼右步军指挥使，不久上奏授与沂州刺史。随后，王师范据青州反叛，屡次出兵侵犯沂州，徐怀玉击退他。天复四年(904)，转任齐州防御使，加封检校司空，跟随大军到岐下迎驾。回来后暂任华州观察留后。一年后，又领部下士兵戍守雍州，接着应召赴河中，补任晋、绛、同、华五州马军步军都指挥使。天..三年(906)任左羽林统军，转任右龙虎统军，领六军士兵奔赴泽州。旋即被晋军攻击，昼夜冲击，挖地而入，徐怀玉率亲兵迎杀敌军于隧道之中，晋军于是后退。开平元年(907)，任曹州刺史，加封检校司徒。第二年，任晋州刺史。那年秋天，晋军大举扑来，已经登上城墙，徐怀玉挑选亲兵五十多人，一拥而上将敌人杀下城墙。晋军后退后，徐怀玉拿出家财来奖赏战士。这年中，晋军再一次攻来，徐怀玉领兵在洪洞打败他们。开平三年(909)，诏令授与..坊节度使、特进、检校太保，徐怀玉训练士兵，修缮城墙，人人都感安心，徐怀玉被加封为检校太傅。
乾化二年(912)，庶人朱友王圭已经篡夺帝位，河中朱友谦抗拒朝令，派兵袭击..州，徐怀玉没有防备，旋即被河中军俘虏，囚禁在公馆。到朱友王圭派康怀英领兵包围河中时，朱友谦担心徐怀玉有变，于是杀害他。徐怀玉才质气概刚健英勇，临阵未曾受挫败退，平生创伤遍体，有战将的英名。