有个叫黄玉山的人，生性机敏聪慧，可是家里贫困，时常连读书用的灯油也买不起，靠给人家画像挣得一点钱，不过倒也远近闻名。
刚好他到山西各地去游玩，平陽太守桂公，籍贯是东海荣城人。他的母亲已年过七十了，就请黄玉山给他母亲画像。
当时，还是初春，当天天气陰晦寒冷，太夫人穿着貂裘大衣，带着凤凰帽子出来，显得十分的贵气，一群婢女环绕在她的四周，在太夫人旁边坐着便是太守的女儿，也带着貂裘帽子，遮盖在头上，穿着一身花团锦绣的大衣。
黄玉山手里拿着比，不知怎么话才好，想要丢开太守的女儿，她实在太耀眼，已深深映入他的脑海。笔拿在手上，跟着心思游走，没多一会儿，便画成了一幅，捧上去给众人观赏，婢女们都说：“这是女公子啊！”
黄玉山也感到有些惊愕，自认为画错了，把画收回来，又另外画了一幅进奉，众人才说神貌像是太夫人了。
画好之后，太守桂公酬谢他很多银两。
黄玉山回到住处，取出起初画的女子的像来，想着女子的容貌，又好好完善了一下，真是一位出尘绝世的美人儿。
一天晚上，黄玉山喝酒喝到半夜，拿起酒杯对着画像说：“公子也来喝一杯吧！”
他话音刚落，便看到画上的美人面颊红润起来，微微笑了几下，黄玉山感到很奇怪。
从此，每次吃饭的时候，都不忘记去画像面前祷祝一番。
一天傍晚下起了雨，黄玉山站到门外去观赏雨景，听到屋子里发出簌簌的响声，便靠着窗子向里面窥视，见到一个姣好的女子，两只手托着下巴，正坐在桌子旁边，和画上的人很相像。
黄玉山掀开门帘，一下闯进去，不见有什么人在哪里，四处察看了一下，也没有什么踪迹，心里怅惘地躺在床上，看着女子的画像，心里默默地祈祷，希望她能下来，可心里又不太相信她真能变成真人走下来。
接着，黄玉山感到有些困倦了，就睡去了。
女子忽然来揭开他的帐子，帐子上的钩子摇动，发出了响声，黄玉山也就醒过来了，伸手一探视，温如软玉，于是，一把揽入怀里。
女子道：“春雨凝寒，刺人肌肤，怎么整天把我挂在墙上呢？明天早上，你应当收藏到温暖的被子中了。”
黄玉山坐起来，抱着她，想要和她亲热。
女子道：“等一下，不要唐突了西子。你是一个风雅之人，请让我考考你，看能不能对出我的对子。要是不能，还是不要有什么企望。”
黄玉山道：“好吧，请出上联。”
女子道：“多晴今得雨。”
黄玉山立即于是，便成了夫妻。
黄玉山问女子的姓名。
女子道：“我叫非非。”
黄玉山不相信她是太守的女儿，便问道：“太守是谁？”
非非道：“我的父亲大人。”
黄玉山点了点头，道：“好吧！你告诉我你怎么到这里来了的？”
非非道：“往日有韩寿偷香，女子之中难道就没有像男子一样的吗？”
鸡叫的时候，非非就离去了。
从此之后，非非每夜都来和黄玉山相会，和黄玉山谈论诗文，都远远比黄玉山要好。
非非对黄玉山说：“我因为怜爱你的才华，才跑来依附你，可始终犯了私奔的丑行，要是被人察觉了，势必难以在一起。要是郎君真的爱我，还要得带着我一起逃离这里。”
黄玉山道：“这确实是个好办法，只是难以找到脚力。”
非非道：“这有什么难的？”
早上起来，便有两匹马站在门外了，挖动着蹄子，昂着头嘶叫。
黄玉山便整理了行装，骑上马，和非非并辔而驰，也不知道走了多少里路。接着，便走到了高低不平的山路上，道路随着山势弯折迂回，然而，非非走在前面，黄玉山看着她走得很顺畅，丝毫没有感到艰难。
来到一处地方，一重重的院墙，屋脊上面雕镂着各种贵兽，里面种满了树木，显得一派浓荫。
黄玉山跟着非非骑马进去，下了马，把马系在树上，然后走入厅堂之中。
一片鲜红的地毯铺在地上，像是个富贵之家，只是没有一个人来应承。
黄玉山问道：“这里是什么地方？”
非非道：“是我的老家。只因为父亲在外做官，很多年都没有回来，没有人料理，便显得荒芜了。”
一会儿，有一个老妪送茶到来，接着，又把蜡烛点上。
非非道：“我喜欢居住在楼上。”
“可以。”黄玉山表示没有意见。
老妪拿着灯，就在前面带路，沿着楼梯走上楼去。
黄玉山上到楼上，见那里颇为宽敞，翻看架上那些旧有的书籍，上满都标记有事桂家的东西，他问那服侍的老妪，也说那里是荣城，是桂公的故乡，没有什么不同的说法。可黄玉山心里还是有些疑团想不明白，他也懒得去想了。
在日常中，非非只叫老妪一个人送食物给他们吃，不见其他的一个人到楼上去。
非非还常常劝黄玉山好好读书，勉励他图谋上进，可是黄玉山始终是黄玉山，往往半半途而废，读一会儿，就坐不下去了，又喜欢见异思迁，这看一下，那看一下，常常在深更半夜之中，非非拿着女红还在陪着他读书，黄玉到了秋天的一个晚上，刚睡下去，忽然就听到有人破门打进去，接着便有人举着火把进去，很多手里拿着器械。
黄玉山正准备叫喊，一个人忽然举起一把白晃晃的刀子架在他的脖子上，他便不敢出声了。
只见有几个人，把非非的被子卷起来，连同非非也卷到里面，捆好就抬着，并把屋里有用的东西，席卷一空，然后就呼啸着走了。
又把黄玉山绑起来，拉着他，让他送他们到四十里之外的地方，才把他放了。
黄玉山一片狼藉，内心感到十分凄怆，找着路就回去了。
到了院子门口，门所得严严实实的，还打有封记，里面则是一片荒芜，显得十分清寂。
问左右邻近的人，又果然是桂公家的旧宅，那些人说，那宅子已十多年没有人居住了，近来听说桂公准备告老还乡，回归田里，想要重新修理旧宅，只是还没有回来。
黄玉山又问：“几个月前，他家的女儿曾经回来过吗？”
那些都说：“没见到。”
黄玉山怅然若失，知道相伴自己是鬼魅，即使是鬼魅，心里对她也是恋恋不舍，无法忘记。
荣城本来就已靠近了海边，黄玉山举目无亲，也没有来帮助，想要回去，只能一路讨饭，路上疲惫难忍，一个多月，才到达济南，又开始画画拿到集市上去卖，挣得一些钱勉强度日，仅仅能让自己有口饭吃，然而衣服只能穿着那些粗布麻衣。
重陽节那天，济南千佛寺有很多女子到那里去游览，黄玉山也随着众人到那里去游玩。
看见一个女子手里拿着一张红叶，正准备上车而去，然而揭开帘子的时候，频频看了黄玉山几眼。
起初的时候，黄玉山没有在意，等他刚明白过来，而车子早已走了，想着女子的神态面容，越想越觉得是非非。
黄玉山追上去，只见四周夜色已经降临，四周一片弥漫。
正在那里踌躇，便捡到一张红叶，上面有一首用发钗刻成的诗：“莫非非即是，今既是非非。
既识非非是，非非是耶非”
黄玉山读着不觉流下眼泪，怎么也要赶上去寻找非非的踪迹，远远地看着车架已驶入了山谷之中。
黄玉山也顾不得道路崎岖，颠簸着走进山里去。
大约二更天的时候，来到一个村子处。见一户人家，屋子四面都是石块砌在成的，并且墙面凹凸不平，也不见有什么灯火，只有门后面有一盏闪烁着的灯火，里面坐着一个老叟。
黄玉山走进去，询问那老叟：“刚才有一架车子，是到哪里去的？”
老叟听了他的话黄玉山顿时口塞，不知道怎么回答，过了好一会儿，才说：“我迷路了，想来跟着来借宿。”
老叟注视着黄玉山看了几下，说：“老夫不是开旅店的。”把黄玉山赶出门，就把门关上了。
黄玉山不得已，就盘腿坐在门前的地上。
凉风之中带着霜气，夜里石块也冷了下来，黄玉山想着非非，便捧着红叶呜呜地哭了起来，像清液里野草中的虫子鸣叫一样，让人感到凄凉。
门忽然开了，一个女子撑着灯笼出来查看，灯光照到黄玉山的脸上，女子道：“你不是黄郎吗？”
黄玉山正准备站起来相认，然而，灯火已经灭了，已看不清眼前的女子是不是非非了。
黄玉山拉着女子，还想要哭泣，女子道：“不要悲戚，要是哭出声来，你就没命了。”
女子拉着黄玉山悄悄地走进屋去，室内的桌子上有一盏灯，黄玉山看清了女子正是非非，便泪如雨下，眼泪大颗大颗地流了出来，已没有勇气抬起头来多看非非几眼了。
非非拉着他，也哭泣着道：“奴家辜负郎君了！郎君自己不长进，不知道自立为人，只凭着一点技艺，到处碌碌无为，这怎么能成一个家呢？所以，才让你遭受这一场灾厄。我也不是什么太守的女儿，因为可怜你孤苦无依，因此才冒名相伴在你的身边。实在是想成就你的好事，你为何自愿甘心暴弃，而浪费时光呢？就算我和你厮守终身，一生也不过是一个画士的妻子，这有什么贵气的呢？”
黄玉山对她说自己后悔了。
又听到有人在敲，老叟已走出去了，女子一下又把等吹灭了。
黄玉山问为什么，女子叫他不要出声。
黄玉山从窗的缝隙中看见外面，看一个戴着紫金高冠的男子进去，看样子，好像是尊贵的官员，直接走到了厅堂中。
女子指着黄玉山，用脚踩了两下地面，说：“那是小姨的夫婿。你和他相比起来，不是相形见绌了吗？”
于是，用袖子掩着脸隐隐哭泣起来。
黄玉山轻轻地说：“从此，我愿意自立，再也不让你蒙羞了。”两人才共枕而眠，各自倾诉别离之情。
黄玉山朦朦胧胧地就睡去了。
等他醒来的时候，屋舍人影都不见了，只有他一个人躺在石块上，大吃一惊，立即坐起来，发现身旁有一轴画卷，和一锭黄金，画就是他所画的那幅太守女儿的画，黄玉山看着画，感到无限幸好，还留有金子给他，可以备办行装立即回家去。
黄玉山回到住处，把金子换成了钱，就上路回去了。
回去之后，发奋读书，考取功名，不再说画画的事了。
也时常把非非的画像挂在屋子里，把她当做老师在一旁监督他一样，常常读完书之后，就对着画像大哭，大哭过后，又立即读书。
在乡试、会试中连连高中，最后进入京师，进入翰林院为官。
有一个山东的张进士，和黄玉山一同被录用，他知道黄玉山还没有娶妻子，想要把桂家的表妹嫁给他。
黄玉山问那女子的里居，果然是荣城桂公的女儿，觉得很奇怪，就答应了。
原来，桂公任期满了之后，去京师办理高老退休的事，在京师也拜见了张家的表兄张公，因为担心荣城，地处偏僻，找不到好女婿，就摆脱他给自己的女儿选个夫婿，并把女儿非非留在了京师。
一天，非非和众姊妹出奇华门去游玩，泛着小舟，到河里游乐。
忽然岸上有一个女子呼叫她们，想和她们一起渡船，非非一行便把船靠过去，让那女子上去。
女子上了船，忽然就不见了，众人都感到很奇怪。
回去之后，非非的动作神情，顿时就改变了，变得异常的机灵，读书作词，当时造诣高深的行家，对她也刮目相看。文词书章，拿来考察她，都不能考倒她。
和黄玉山订好亲之后，就选择了一个好日子成亲，张公给非非办理婚事。
黄玉山到门去迎娶，锣鼓喧天，异常热闹。
黄玉山迎娶非非回去之后，交拜行礼，进入新房，揭开非非的头巾，看非非和前面的非非没有什么差别，尽管他想眼前的非非不是前面的非非。然而，不知道现今的非非，到底是不是前面的非非呢？他也分辨不清楚。
新婚之夜，非非见到了画像，说：“画还是和原先一样，恐怕黄金早花费完了。”
黄玉山听了她的话，感到很惊讶，她怎么知道前面那假非非的事，便问道：“你是非非呢？还是不是非非？”
非非含笑对他说：“非非要是不是我，我怎么知道非非呢？我实在不是非非，我本来就知道非非的事。”
黄玉山也糊涂了，不知道她说的是哪一个非非，就拿以前的事来问她，雨夜同床而眠，楼上督促他读书，以及在山谷中留给他金子的事，非非都能清清楚楚地说出来。
黄玉山又详细地追问。
非非道：“我和你初次相见的时候，见你落笔绘画的时候，凝思不已，心里已被你感感动了，因此，情情思就移到了画上，等和你一起骑马逃走，也是心里想的事，把自己的情黄玉山才不再有什么话说。
后来，非非回荣城看望父母，她的父母也不能分辨，问起闺中幼小时候的事，也都记得清清楚楚。