历史学家钱穆注意到，秦汉创制，中央官员的设置，很像是皇帝的家臣，三公之外，九卿基本上是围绕皇帝家事安排的。此前的封建制，天子跟诸侯一样，设置官员，无非是自己的家臣。因为在封建制度里是“家天下”，天子跟诸侯的关系，就等于一个大家长面对诸多分了家的子弟，诸侯跟大夫也是如此。天子也罢，诸侯也罢，甚至大夫也罢，真正管理的就是自己直辖的那么一点地方，自己的采邑。所谓的国事，略等于家事。到了春秋时期，那些到私学学了本事，准备施展才能的人，也得从某个公子或者大夫的家臣做起，这个大夫如果像齐桓公小白或者晋文公重耳那样混成了诸侯，他们也就出头了。
在封建制下，天子管的那点地方，所谓的王畿之地，就是自家的私产，而王畿之外的天下，天子只有名义上的管辖权，即便在西周的盛期也是如此，否则怎么会有那么多的诸侯打打杀杀，你并我吞，造成那么多诸侯失踪。家天下，当然没什么问题，管得到的地方，都是家产，管不到的地方，就随他去好了。
秦统一之后，彻底废了封建，改郡县了。一个个大小不一的政治实体不见了踪影，皇帝一统天下，所有的地方都成了天子的直辖领地，地方官不过是替皇帝管事的雇员。在这种情况下，还能是家天下吗？这么大的家，皇帝顾得过来吗？设官分治，官员其实就是雇员，不是家臣，家臣的结局是要讨个采邑，最后有块自己的封地。一直到战国，各国官员都挺像雇员了，但还是要有块封地。冯谖为孟尝君所营的三窟，第一个就是他的封地。但是，到了秦统一之后，这种事似乎就成问题了，官员更像是雇员，想用就用，不用就扔，甚至可能杀掉雇员。统一之后，天下只剩下一个市场。想做官的人，学成文武艺，货与帝王家，只有一个买主，一个特别霸道的买主，买卖不成，连命都可能丢掉。
事实上，帝制时代的官员，不可能仅仅是皇帝的家臣，而且带有某种公共性质，管理地方，不仅要顾及皇帝，还要考虑地方的利益。皇帝也是一样，皇帝的天下，一半是自己家的私产，一半是公共性的公司。这个公司，要靠官员一起来维持。汉朝的皇帝，总是强调自己是和两千石（郡太守）共天下，的确是明智的说法。皇帝也是人，有自己的妻妾，有自己的子女，还有宗族和亲戚。但自己的小家是家，国家这个大家也是家。从理论上讲，皇帝是天下之大父，皇后是天下之大母，他们夫妻两个，是国家这个大家的家长。在现实中，皇帝过日子还是跟自己的小家一起。虽说比常人多好些老婆，但日子大抵也就这么过，该吃饭吃饭，该睡觉睡觉，该做爱，当然也做爱。
但是，皇帝毕竟是大家的家长，大家的事，臣子也有发言权。皇帝的日常生活，有时却不得不受到某些多事的臣子的干预，多宠幸某个妃子，人家要说话，皇室多花了钱，人家也要说话，皇宫里的下人（宦官）如果多管了事，人家更要说话。如果要选皇后、立太子，更是得臣子们同意，臣子不奉诏，事情就难办。唐高宗李治，死活想废掉原来的皇后，立武昭仪也就是后来的武则天为后，臣子们死活都不肯。后来李绩偷偷告诉唐高宗，说乡巴佬找老婆都可以自己说了算，这本是皇帝的家事，何必问臣子？这么一说，李治开了窍，于是武昭仪就成了皇后。唐玄宗时，武惠妃进谗言，玄宗要废太子，群臣不同意，但李林甫也说，这是天子的家事，结果太子被废。然而到了德宗时，皇帝又想废太子了，也说这是自己的家事，臣子管不着，但李泌却说，天子以四海为家，宰相于四海之内的事都可以管。最后，太子居然保住了。
从国家角度来看，李泌的话是对的。既然天下都是皇帝家的，那么皇帝的小家之事，就不再是皇帝自己的私事。皇后的废立，太子的废立，都事关整个国家，做臣子的，尤其是宰相，不能坐视不管。也就是说，既然做了皇帝，就没有隐私可言。就算是自己的老婆、自己的儿子，处理起来也不能尽由着自己的性子。当然，反过来，如果皇帝就是要由着自己的性子，想怎么就怎么，臣子即使拼了命也是拦不住的。像明朝的“大礼议”故事，群臣哭声震天，也挡不住嘉靖皇帝追封自己的父亲，人家的家事就是不让你管，你也没辙。