财神爷（家仙）也并不是至善的灵物，若是家人得罪了它，其破坏的力量非常的大。有的村民认为，最好与财神爷发生关系愈少愈好，因为四大门大致都是无甚长性，供奉得好，它便保佑家宅平安，财源茂盛；如果供奉稍有简慢，或是家运衰微，它便要帮忙败家。因为财神爷并不能生产财物，而是有力量来搬运财物，从一家搬运财物到另一家去，所谓兴一家，败一家，财神爷的性格既然是无常，所以兴起一家之后，几年后又将财物搬到另一家去，原来的一家受财神爷的益处，还不如蒙财神爷的害来得大。并且财神爷的欲望相当的大，不时向家人要求修楼上供，稍拂它的意思，便要翻面无情，总而言之是贪而无厌的。据于念昭和全子修的看法，认为藉着四大门的力量发家便如同暴发户的情形相似，兴起非常容易，但是败落更是容易，决非长久之计，以下有几个例子。
全子修有一个同学吕廷方，是平东东坝人，有四大门助其发家。邻居有人嫁女，置备妆奁所买的布匹，都会被财神爷搬到吕家的柜中。有一日，吕姓到仓房打粮食，看见一位大形的“黄爷”，自此，吕姓的家业发达，诸事顺当。到了三年之后，家道又有败落的趋势。一日，吕姓在他家门口的门楼前休息，忽听见仓房里有人说：“往出弄！”（即向外搬运的意思）吕姓人看见门楼上撒着许多黑豆粒，知道是家仙要败家，于是取过一根赶车的新鞭子，在门楼上等候，因为乡民传说如果未曾打过狗的鞭子可以辟邪，不久便看见有许多黄鼠狼披着口袋进入仓房，将仓房中所贮的黑豆装在口袋内向外搬运。这时这些黄鼠狼都幻化成猴子模样的东西，大小不一，前肢离地，用后肢走路，类似幼童形状。吕姓等待它们走到临近，猛然用鞭子向为首者打去，只听见说“好厉害！”于是都作“滋、滋”的声音，立刻四散不见，吕姓家业自此保住。
清华园南边有个杨姓乡民，由四大门发家，很是顺利，后来对于四大门的信心逐渐淡泊，这是因为将要败家，造化低微，驱使人如此，并非由人之自由意志所决定。不久将四大门得罪，因此家中总有不幸事故：牲口常死，有时牲口走失不见，夜间在桌上所放的“掸瓶”（插鸡毛掸子用的）自己滚到地下摔碎，其家如此败落下去。