建好，苏轼有此自嘲说自己是穷人暴富如曰：“故作明窗书小字，更开幽室养丹砂。”
苏轼拿着这南堂作了书斋、丹室、客室和卧房，而将山下雪堂作为待客之所，两堂间隔一里多地，苏轼每天往返于两堂之间，中间是他耕田的东坡，可谓不亦忙碌。
这一年多以来，苏轼不仅自己动手修屋，种田，挖井，甚至还煮饭煮菜。
虽过着清贫至极的生活，但苏轼却让日子过得十分充实。
这日雪堂又逢大雪，墙内雪景，墙外亦是雪景，苏轼呼朋引伴在雪堂之中酣然饮酒，座下有他的邻居，也有追随他二十多年的好友马梦得，还有一位从江宁来看望苏轼的小友，此人名叫米芾。
此人书法极为了得，对苏轼的书法非常崇拜，同时与王安石交情也很好，
雪堂里有苏轼写的一副字。
出舆入辇，蹶痿之机;
洞房清官，寒热之媒;
皓齿蛾眉，伐性之斧;
甘脆肥脓，腐肠之药。
米芾笑着对苏轼道：“渔樵耕读乃读书人四大乐事，如今学士皆占。不知学士要为散人呢？还是要作拘人呢？为散人不免天机浅，为拘人则不免嗜欲深。如今学士似系而止，有所得还是有所失呢？”
苏轼仔细想了想，好似米芾这话正好戳中了他心底，但一时又难以言语。
苏轼停筷道：“人世最痛苦的，莫过于徘徊在入世和出世之间。”
“我也是如此，欲为散人但是又达不到散人的境界，不过我可以告诉你散人之道，这就好比是大禹行水，庖丁操刀，都是避众碍而散其智也。”
“这正如庖丁看不见完整的牛一般，若我有散人心境，天下没有任何束缚我，正是没有，固然在心底久久不能释怀。”
说到这里，苏轼道：“前不久我写一首诗句尾有句‘小舟从此逝，江海寄余生’，因为雪堂不远正好有长江，本地官员看了诗以为我苏轼连夜跑路了，遁入江海了，故而连忙带人来追苏轼。结果看见我在家里呼呼大睡。”
听到苏轼之言，众人都是大笑。
苏轼道：“我欲避世而居，但求不得。这黄州，这天下何尝不似一个藩篱。不过天下最大的藩篱不是别处，而正是我们智慧。”
“我欲散智而为，但智便是你的利欲，老子劝我绝圣弃智，倒不如适意而为，顺其自然便是了。”
米芾等人笑道：“学士躬耕东坡，却作得好一番道理，活成了陶渊明。”