熙宁四年（1071年）七月，苏东坡携眷离京往富有湖山之美的杭州上任。在随后八九年内，他始终在杭州、青岛附近的密州以及江苏的苏州为官，无不政绩斐然。这一段期间，他作诗甚多，所写的歌很美，或感伤，或诙谐，或愤怒。以天真快活的心情，几乎赤子般的狂放不羁，将心中之所感，尽情歌唱出来。可是这样忧虑愤怒的诗歌触怒了权要，终于给他招惹了灾祸。
他弟弟子由这时在陈州（淮阳）充任教授，淡泊自甘。陈州位于国都东南七八十里，正在苏东坡治下的视察行程之中，他随后几年都常常利用机会到弟弟家盘桓小住，有时会住上七十几天。苏东坡的儿子已经十二岁，还有一个婴儿，才一岁，但是他弟弟则儿女很多。沉默寡言的苏子由，一声不响只顾生儿育女——最后直到生了三个儿子，七个女儿，都是苏东坡帮助婚配的。苏东坡欣然接受弟弟的请求，与他们共度中秋后才走。子由很穷，住的房子又小又矮。东坡常常对弟弟的高大取笑，他写了两句：
常时低头诵经史，
忽然欠伸屋打头。
他们的老朋友，那位退隐的国家元老张方平也和他们在一个城里住，大家常酒饭相聚。张方平饮酒甚豪，他的酒量是一百杯。据苏东坡自己说，他自己的酒量则小得多，但是他说他并不以自己酒量小而戒酒。欧阳修也是海量，但是张方平却胜过他，因为张方平开始喝酒时，他不向客人说他们要喝多少杯，而是多少天。苏东坡说：“对你们海量的人我并不羡慕。我喝完一杯就醉，不是和你们一样得其所哉吗？”
那几个月，兄弟二人和家人悠闲团聚，共度时光，兄弟二人常到柳湖去划船，或是在城郊漫步，谈论政治、家事、前途。一天，二人正在讨论国家情势，子由向哥哥进了些忠言。苏东坡的一个短处就是老向客人谈论自己的心思，写文章也是发挥自己的见解。当时不是什么好年月，子由对哥哥太了解。后来，苏东坡的监禁解除之后，子由把手捂住他的嘴，那是告诉他以后要三缄其口。
兄弟二人，气质不同，形貌各异。子由高大，丰满的圆脸，两颊附近的松肉很多，而东坡则健壮结实，骨肉匀停。由他的画像，我们不难判断，他大概是五尺七八寸身高，脸大、颧骨高、前额高大，眼睛很长而闪闪发光，下巴端正，胡须长而末端尖细。最能透露他特性的，就是他那敏感活动、强而有力的嘴唇。他的脸色红润，热情洋溢，会由欢天喜地的表情一变而成抑郁沉思的幻想状。
苏东坡对他弟弟说：“我知道我一向出言不慎。我一发现什么事情不对，就像在饭菜里找到个苍蝇一样，非要唾弃不可。”
弟弟说：“但是你要了解你说话的对方，有人你可以推心置腹，有的不可以。”
苏东坡点头说：“这就是我之所短。也许我生来就太相信人，不管我是跟谁说话，我都是畅所欲言。”
他告诉弟弟，他送出上神宗皇帝书之后，他真怕有生命之险。他有一个朋友，也为他担心。那个朋友是晁端彦，正好去看他，晁端彦和他同科考中，正如今之同年毕业的同学一样。
东坡说：“但是我告诉晁端彦说，我曾殿试高中，多少高官显宦立刻把我看做朋友。皇帝已然接受我的忠言。我不坦诚进谏，舍我其谁？我告诉晁端彦，我真正怕的是会因此而被杀害。他一言不发，面色极其严肃。于是我又对他说：‘没关系，皇帝若想杀我，我死而无怨。但有一件，我不愿一身就戮而使你拍手称快。’我二人都大笑起来。”
子由说：“有一件事你知道吗？你留意过没有？一日空闲长似两日。所以人若一生七十年都在空闲中过，他实际上等于活了一百四十年。这是求长寿最容易的办法。”
兄弟二人在政治上虽然看法相似，而且也立场相同，二人个性则迥然相异。子由沉稳、实际、拘谨、寡言；而东坡则轻快、开阔、好辩、天真、不顾后果。在朋友同僚的心目中，子由为人可靠，而东坡之直言无隐，玩笑戏谑，则使人害怕。在亲密朋友之间，东坡谈笑风生夹杂惊人的双关语。天下拘谨实际的人听他说话，都觉得他随时可以吐露真理，仿佛不论何事，只要是真，便值得说出口来，此外不知还有什么禁忌！
在文学风格上也有一种差异——就犹如亨利•詹姆斯（Henry James ）和威廉•詹姆斯（William James）。东坡像威廉，子由像亨利。由各自的才气上看，威廉原应当写小说，而亨利应当写心理与哲学性的论文。可是威廉•詹姆斯却把他的才华和诙谐注入了通常枯燥无味的心理学和哲学教科书，而亨利•詹姆斯则在小说的天地中注入了他人性的思想和观察这样充实的内容，这对世界的文化反倒有益而无损。子由没有哥哥才气的一半，但是他的文章内容充实，具有深度，使他在这一类文章之内，足称大家。
苏东坡知道弟弟的忠言大有道理，倘若他的气质像子由那样恬淡沉静，他必然会乐于接受的。但是问题不是他如何想，而是他如何感，不是理性的问题，而是感性的问题。我们论到苏东坡，我们就不能避免“气”这个字。因为每个文学批评家一综括苏东坡的个性，必用孟子所说的这个“气”字。“气”本是普通字，是空气，是气体，是大气，是精神，是力量，是运动，是闷在心里的恼怒。在《孟子》里，“气”是哲学的概念，类似柏格森所说的“生气勃勃”，是人格上的“元气”。使伟人和匹夫显然不同的，往往是精力元气上的差异。在孟子的哲学上，“气”是伟大的道德动力，更简单说，就是人求善、求正义的高贵精神，这种精神人人皆有，是与生俱来的。人在世界上生活下去，这个“气”可因得其陶冶营养而增长强大，亦可因消减而衰弱。以苏东坡的情况而言，其意义正同于伟大的精神，一个人高升到无极限的精神，至大至刚，激烈冲动，因其本身充沛的元力必要发之于外而不可抑制。佩服苏东坡的人和批评苏东坡的人，就常说到他这种至大至刚之气。孟子在自己本身觉察到有此力量，这种力量若辅以正义真理，便在天地之间无所畏惧。
孟子的一个弟子问：“敢问何谓浩然之气？”
孟子回答道：“难言也。其为气也，至大至刚，以直养而无害，则塞于天地之间。其为气也，配道与义，无是馁也。有不慊于心，则馁矣。”
苏东坡既然天赋这样生气蓬勃的精神，他自然常遭遇到道德的矛盾，一方面要保持英雄本色，不失其与生俱来的大无畏精神，另一面又要顾到同样重要的明哲保身这一人生的本分。在苏东坡一生的官宦生涯中，有某些时期此种冲突特别尖锐，往往他宁愿保持他的英雄本色。所以他内心中的冲突总不会太大的。他那伟大的天才不断自由流露而一发不可抑制。正是：
猿吟鹤唳本无意，
不知下有行人行。
苏东坡与其弟弟子由及家人共度中秋。这次中秋值得记忆，他后来一直思念不置。也是随后六年中唯一的一次中秋，临别时，二人难分难舍，子由决定送兄长至颖河下游八十里外的颍州（今阜阳），到颍州在欧阳修相伴之下，又一同过了半个多月，但是终须分手。在苏东坡开船出发的前夜，兄弟二人又在颍州河的船上共度一夜，吟诗论政，彻夜未眠。二人论政的结论，后来苏东坡写在一首诗里，到达杭州之后，寄给子由。其中有句为：
眼看时事力难任，
贪恋君恩退未能。
兄弟二人不觉都想起了孟子的话：“责难于君谓之恭，陈善闭邪谓之敬，吾君不能谓之贼。”事实上，二人都明白下面这段话的真理：
徒善不足以为政，徒法不能以自行……为高必因丘陵，为下必因川泽。为政，不因先王之道，可谓智乎？是以唯仁者宜在高位；不仁而在高位，是播其恶于众也。上无道揆也，下无法守也，朝不信道，工不信度，君子犯义，小人犯刑，国之所存者幸也。故曰城郭不完，兵甲不多，非国之灾也；田野不辟，货财不聚，非国之害也。上无礼，下无义，贼民兴，丧无日矣。
那天夜里，苏东坡写了两首诗，足以显示他的心境！
征帆挂西风，别泪滴清颖。
留连知无益，借此须臾景。
我生三度别，此别尤酸冷。
念子似元君，木讷刚且静。
寡词真吉人，介石乃机警。
至今天下士，去莫如子猛。
嗟我久病狂，意行无坎井。
有如醉且坠，幸未伤辄醒。
第二首诗是：
近别不改容，远别涕沾胸。
咫尺不相见，实与千里同。
人生无离别，谁知恩爱重。
始我来宛丘，牵衣舞儿童。
便知有此恨，留我过秋风。
秋风亦已过，别恨终无穷。
问我何年归，我言岁在东。
离合既循环，忧喜迭相攻。
悟此长太息，我生如飞蓬。
多忧发早白，不见六一翁。
“六一翁”指的是六一居士欧阳修。“飞蓬”一词正足以象征苏东坡的一生，因为从现在起，他就成为政治风暴中的海燕，直到他去世，就不会再在一个地方安安静静度过三年以上的时光。
次日凌晨，兄弟二人分手。苏东坡对子由的深情确是非比寻常，后来，在写给他好友李常的一首诗中说：“嗟余寡兄弟，四海一子由。”杭州三年任期届满时，他请调至密州，因为当时子由正任职济南，两地都在山东，相距不远。