皇甫诞字玄虑，是安定乌氏人。
他的祖父皇甫和，是西魏的胶州刺史。
父亲皇甫王番，任北周隋州刺史。
皇甫诞年少时，禀性刚毅，有器度。
北周毕王召引他作仓曹参军。
高祖文帝即位以后，皇甫诞作了兵部侍郎。
几年后，出京城作鲁州长史。
开皇年间(581～600)，又回到朝中作比部、刑部侍郎，都有贤能的名声。
后调任治书侍御史，朝臣无不对他恭敬而又畏惧。
高祖因为百姓流亡很多，派皇甫诞任河南道大使，以约束流民，使他们遵守法度。
到返朝后，所奏之事符合高祖的旨意，高祖很高兴，让他兼任大理寺少卿。
第二年，升任尚书右丞。
不久，因母亲去世而辞职。
丧期未满，又奉命到职上任。
不久，转任尚书左丞。
当时，汉王杨谅为并州总管，朝廷广泛选拔人才当他的辅佐，前后任长史、司马的，都是当时的名士。
高祖因皇甫诞以公平正直著称，封他做并州总管司马，总管并州府政事，凡事都要征求他的意见，汉王很敬重他。
到炀帝即位，召汉王入朝，杨谅采纳谘议官王支页的计谋，发兵作乱。
皇甫诞屡次谏阻，杨谅都不采纳。
皇甫诞流着泪说：“我料想汉王您的兵器物资，没有哪一样能抵挡京师军队的。
加上君臣的名份已定，谋反和拥护朝廷的情况不同，你兵马虽精，也难以取胜。
希望您奉命入朝，恪守臣子的节操，一定会有赤松子和王子乔的长寿，几代人的荣华。
如果再拖延，身陷叛逆，到时一上刑书，想做平民百姓也不可能了。
希望王爷您体察我的苦心，想一个万全之计，我斗胆冒死请求。”汉王大怒，囚禁了皇甫诞。
后来杨素将至，杨谅屯兵在清源抵挡。
汉王的主簿豆庐毓放皇甫诞出了囚牢，与他合谋，关闭城门，不让杨谅入城。
杨谅袭破城池，二人都守节而死。
炀帝因皇甫诞以身殉国，为嘉奖并悼念他，专门下了一道诏书，追赠柱国，封弘义公，谥号明。
皇甫诞的儿子无逸继承了爵位。