宋太祖稳定了内部，雄心勃勃，准备出兵统一全国。当时，五代时期的“十国”，留下来的北方有北汉，南方还有南唐、吴越、后蜀、南汉、南平等。要统一全国，该先从哪里下手呢？先打北汉，还是先打南方呢？宋太祖想了几天，还是决定不下来。
一天夜里，风雪交加。赵普正在家里烤火取暖，忽然听得门外一阵敲门声。赵普心里奇怪，这么寒冷的夜里，还有谁会来找他？他打开门一看，只见一个人披着斗篷，在雪地里站着。赵普定睛一看，大吃一惊，原来来的竟是宋太祖。
赵普连忙把宋太祖请进屋里，拨红了炭火，在炭火上炖上肉，叫他老妻拿出酒来招待。
赵普问：“雪下得这么大，陛下为什么还要出来？”
宋太祖说：“我想起一件事，反正睡不着，就来找你商量一下”
赵普想了一会，说：“如果我们先打下北汉，就会受到辽朝的威胁。还不如先削平南方，回过头来再打北汉。小小北汉，不过像弹丸一样大，晚一点收拾也跑不了。”
宋太祖笑着说：“我们想到一起去了。”
宋太祖和赵普决定了先南后北的计划以后，约摸花了十年时间，先后出兵消灭了南平、后蜀、南汉。这样，南方的割据政权只留下南唐和吴越两国。
南唐是“十国”中最大的一个割据政权，那里土地肥沃，没有像中原那样遭到战争的破坏，所以经济繁荣，国力富裕。但是，南唐的国主都是政治上十分昏庸无能的人，后来弄得国力渐渐衰弱下来。
最后的一个国主李煜（音ｙù），历史上称南唐后主，是一个著名的词人，对诗词、音乐、书画，十分精通，可就是不懂得处理国事。北宋建国后，李煜每年向北宋进贡大量金银财宝，想维持他的地位。后来，他看到宋太祖接连消灭了周围三个小国，才着慌起来，赶快派使者给宋太祖送去一封信，表示愿意取消南唐国号，自己改称“江南国主”。但是这一点小小让步，怎么能改变宋太祖统一中国的决心呢。
公元974年九月，宋太祖派大将曹彬、潘美带领十万大军分水陆两路攻打南唐。曹彬从荆南带领水军沿江东下，很快就占领了池州（今安徽贵池），进驻采石矶（今安徽马鞍山市）。潘美带领的步兵到了江北，被辽阔的江面挡住了进军的道路。
有人向宋军献计，如果用竹筏和大船搭成浮桥，步兵就可以全部顺利过江。潘美听了这个计策，马上赶造浮桥。这个消息传到南唐的国都金陵（今江苏南京市），南唐君臣正在喝酒。李后主问周围大臣该怎么办？大臣说：“自古以来，没听说搭浮桥过江的，一定办不成！”
后主听了，哈哈大笑说：“我早说他们是小孩子闹着玩罢了。”
过了三天，宋军搭好浮桥，潘美的步兵像在陆地上行军一样，跨过长江。南唐的守将败的败，投降的投降。十万宋军很快就打到金陵城边。
那时候，李后主还正在宫里跟一批和尚道士诵经讲道，宋军到了城外，他还蒙在鼓里呢。有一天，他到城头上巡视，发现城外到处飘扬着宋军旗帜，这才大吃一惊，回宫以后，派大臣徐铉（音ｘｕàｎ）到东京去求和。
徐铉见了宋太祖说：“李煜待陛下，就像儿子待父亲一样孝顺，为什么还要讨伐他？”
宋太祖反问说：“那么你倒说说，父亲和儿子能分成两家吗？”
徐铉没话说，回到金陵向李后主回报。过了一个月，末军围城越来越紧，李后主又派徐铉到东京去。
徐铉苦苦恳求宋太祖不要进攻金陵，宋太祖听得不耐烦，一手按住利剑，怒气冲冲地说：“你不要多说了。李煜并没有什么罪。但是现在天下一家，我的床边，怎么能让别人睡着打呼噜呢！”
徐铉眼看再恳求也没用，只好再回到金陵。李后主听了回报，知道求和没有希望，连忙调动驻守上江的十五万大军来救。兵到皖口，受到宋军两路夹攻。南唐军放火烧宋军。哪知正碰到起北风，火反烧了自己。南唐军全军覆没。
曹彬派人进城告诉李后主，劝他趁早投降，免得城里百姓的生命财产遭到毁灭。后主还想拖下去，曹彬就下令攻城。
第二天，城被攻破了。曹彬率领宋军整队进城，秩序井然。李后主叫人在宫里堆了柴草，准备放火自杀，但是毕竟没有这个勇气。最后还是带着大臣出宫门，向曹彬投降。
李后主被押到东京，宋太祖对他还比较优待。但是李后主从一个尽情享乐的国君变成一个亡国的俘虏，心里十分辛酸，每天流着眼泪过日子。他本来是写词的能手，在这段时期里，写了一些感情忧伤的词。“问君能有几多愁，恰似一江春水向东流。”就是他这段时期词作中的名句。