上阕咏史，写东晋谢安的经历，意在“以不早退为戒”。发端明点“安石”，领起上半阕。词人的写作角度比较独特，既不写他经天纬地的才能，也不写他建功立业的辉煌，而是写他人生的另一侧面。劈头就写谢安中年出仕的尴尬：他本来隐居会稽，踏上仕途时鬓发已开始染上秋霜，令人吃惊。再写人情的难堪：人到中年，与亲友相别时觉得难舍难分，于是借音乐来抒写离愁。而后突出他一向抱有的功成身退的心愿： “一旦功成名遂，准拟东还海道”。语气多么肯定，多么坚决，确实是对史书中所谓“安虽受朝寄，然东山之志始末不渝，每形于言色”（《晋书》）数语准确的表述。而结果却是“扶病人西州”，这就反跌出困於轩冕不遂雅志的“遗恨”。这种“遗恨”，便是作者引出的鉴戒——“不早退”。词中的“困轩冕”只是一个文雅的或婉转的说法，实际上（至少在某种程度上）与贪恋功名富贵是联系在一起的。
下阕述怀，设想早日“退而相从之乐”。换头“岁云暮”三字承上转下，“岁暮”当指年华老大，“早计”是对“遗恨”而言，其内容便是“要褐裘”，亦即辞官归隐，过平民生活。以下七句是由此产生的设想：在归乡的千里长途中，每逢山水名胜或有贤主、良朋接待之类好的去处，可以随意逗留，尽情游乐，不必如官场中人因王命在身而行道局促，一层：我带着醉意唱歌时你跟着唱和，我因醉酒倒下时你要搀扶我，——只有酒是可以使人忘怀得失的，二层：这样，有雄心大志的人会瞧不起我们，那就悉听尊便好了，我们只管走自己的路，三层：这种种设想，情辞恳切，言由中发，有如骏马驻坡，不可遏止，充分表现出词人对辞官归隐而享弟兄“相从之乐”的夙愿。“我醉歌时君和，醉倒须君扶我”，极写想象中“退而相从之乐”的情态，简直是对二人的“合影”。篇末“一任刘玄德，相对卧高楼”两句，反用典故，并非真要趋同胸无大志的庸人，而只是强调素愿的坚定不移，这体现了用典的灵活性。
同《南乡子》（东武望余杭）、《醉落魄》（分携如昨）、《减字木兰花》（贤哉令尹）等词作一样，这首词着重表现了苏轼前期思想的另一面，虽然“功成名遂”尚未实现，出仕思想仍占上风，但在某种程度上徘徊于出处之间，却是可以肯定的。早在嘉祐五年（1060）苏氏弟兄寓居怀远驿时，即有“夜雨对床”，“为闲居之乐”（苏辙《逍遥堂会宿二首》引、《再祭亡兄端明文》等）的口头约定，这一回正是对前约的重申，当然在很大程度上也是出于对其弟的安慰，词中流露出深厚的兄弟之情。不过，他在诗词中不断表达的这种归卧故山的雅志，最终还是没有实现。苏辙词中的“但恐同王粲，相对永登楼”，倒成了他们此后生活的写照。
