由唐至宋，中国的人文版图渐渐南移，而海南岛首先领受的却是一些文化水准很高的被贬文官，他们为这个岛留下了很多东西。
例如，李德裕是唐朝名相李吉甫的儿子，自己也做过宰相，在宦海风波中数度当政，最后被政敌贬到海南岛崖州（即今琼山县）。这么一个高官的流放，势必是拖家带口的，因此李德裕的子孙就在海南岛代代繁衍，据说，今天岛上乐东县大安乡南仇村的李姓基本上都是他的后裔。在岛上住了一千多年，当然已经成了再地道不过的海南人，这些生息于椰林下的普通村民或许不知道，他们家族在海南的传代系列是在一种强烈的异乡感中开始的。
从李德裕留下的诗作看，他也注意到了海南岛的桄榔、椰叶、红槿花，但这一切反都引发起他对故乡风物的思念，结果全成了刺心的由头。他没有想到，这种生态环境远比他时时关切的政治环境重要，当他的敌人和朋友全都烟消云散之后，他的后代却要在这种生态环境中永久性地生活下去。他竟然没有擦去泪花多看一眼，永远的桄榔、椰叶、红槿花。
海南岛人民把他和其他贬谪海南的四位官员尊称为“五公”进行纪念，认认真真造了庙，端端正正塑了像，一代又一代。“五公”中其他四位都产生在宋代，都是为主张抗金而流放海南的，而且都是宰相、副宰相的级别。一时间海南来了那么些宰相，煞是有趣。主张求和的当权者似乎想对这些慷慨激昂的政敌开个“小玩笑”：你们怎么老是盯着北方疆土做文章，没完没了地念叨着抗金、抗金？那就抗去吧—— 一下被扔到了最南面。
这“五公”先后上岛后，日子难过，心情不好，成天哀叹连连。但是，只要住长了，就会渐渐爱上这个地方。宋朝的副宰相李光在这里一住十几年，大力支持当地的教育事业，希望建设一个儒学小天地，甚至幻想要在琼州海峡架起一座长桥，把海南岛与大陆连接起来。
“五公祠”二楼的大柱上有一副引人注目的楹联，文曰：
唐宋君王非寡德，
琼崖人士有奇缘。
意思是，这些人品学识都很高的人士被流放到海南岛，从我们的眼光来看，可以不说唐宋君王缺德，而是我们海南岛的一种莫大缘分，要不然我们怎么结交得了这样的大人物呢！这番语句，出于海南人之手，真是憨厚之至，我仰头一读就十分感动。
在被贬海南岛的大人物中，比“五公”更有名的还是那位苏东坡。苏东坡流放到海南岛时已六十多岁，原先他总以为贬谪到远离京城、远离故乡的广东惠州也就完了，辛辛苦苦在那里造了一栋房，把儿孙一一接过来聚居；谁知刚喘一口气，又一声令下要他渡海。苏东坡想，已经这么老了，到了海南先做一口棺材，再找一块墓地，安安静静等死，葬身海外算了。他一到海南，衣食住行都遇到严重困难。他自己耕种，自己酿酒，想写字还自己制墨，忧伤常常爬上心头。然而，他毕竟是他，很快在艰难困苦中抬起了专门发现生趣、发现美色的双眼，开始代表中华文化的最高层次，来评价海南岛。
他发现海南岛其实并没有传闻中的所谓毒气，明言“无甚瘴也”。他在流放地凭吊了冼夫人庙，把握住了海南岛的灵魂。由此伸发开去，他对黎族进行了考察，还朝拜了黎族的诞生地黎母山。
苏东坡在海南过得越来越兴致勃勃。他经常喝几口酒，脸红红的，孩子们还以为他返老还童了：
寂寂东坡一病翁，
白须萧散满霜风。
小儿误喜朱颜在，
一笑那知是酒红！
有时酒没有了，米也没有了，大陆的船只好久没来，他便掐指算算房东什么时候祭灶。因为他与房东已成了好朋友，一定能美滋滋地饱餐一顿。
他还有好几位黎族朋友，经常互相往访。遇到好天气，他喜欢站在朋友的家门口看行人；下雨了，他便借了当地的椰笠、木屐穿戴上回家，一路上妇女、孩子看他怪模怪样哈哈大笑，连狗群也向着他吠叫。他冲着妇女、孩子和狗群发问：“笑我怪样子吧？叫我怪样子吧？”
有时他喝酒半醉，迷迷糊糊地去拜访朋友，孩子们口吹葱叶迎送，他只记得自己的住处在牛栏西面，就一路寻着牛粪摸回去。
苏东坡在海南岛居留三年后遇赦北归，归途中吟了两句诗：
九死南荒吾不恨，
兹游奇绝冠平生。
海南之行，竟是他一生中最奇特，也最有意思的一段遭遇。文化大师如是说，海南岛也对得起中国文化史了。
对海南岛来说，无论“五公”的恨，还是苏东坡的冤，它都不清楚。它只有滋润的风，温暖的水，畅快的笑，洁白的牙齿，忽闪的眼。大陆的人士来了，不管如何伤痕斑斑，先住下，既不先听你申诉，也不陪着你叹息，只让你在不知不觉间稍稍平静，然后过一段日子试试看。
来了不多久就要回去，挥手欢送；盼不到回去的时日，也尽管安心。回去时已经恢复名誉为你高兴，回去时依然罪名深重也有轻轻慰抚。
初来时是青年是老年在所不计，是独身是全家都可安排。离开时要彻底搬迁为你挎包抬箱，要留下一些后代继续生活，更悉听尊便，椰林下的木屋留着呢。
——这一切，使我想到带有母性美的淳朴村妇。