元丰二年（1079），王安石不想再租房子住了，打算买一块地盖房子。他看上的这块地很偏，官府原不打算要他的钱，但他还是坚持给了。王安石的低调并不是故作姿态，其一生从未改变。有神宗皇帝赐予的高头大马，他不得不去雇一位牵卒，不然他还真上不去。王安石在挑选牵卒上还真下了不少力气，他并不是在挑身强体壮、能吟诗作赋的人，他选了村里一位膝下无子的鰥夫。与其说是王安石在挑牵卒，还不如说王安石想尽其所能帮助一下困难户。鰥夫便愉快的答应了。
一天，牵卒问他：“相公怎么不坐轿啊？坐轿还是安全一些。”
王安石说：“驮人的差事是牲口干的，人应该得到尊重，怎么能当牲口用呢？”
俩老头儿就这样每天开心的出去遛弯儿，只可惜好景不长，这匹马得病死了。这匹马是俩老头儿共同的朋友，现在没了，王安石和牵卒都很难过，牵卒也满怀忧伤的开始收拾东西，准备离开相府。
牵卒来辞行的那一天，王安石心中很不是滋味。突然，他好像又想到了什么，马上说：“老伙计，你还不能走啊！你走了，谁来给我牵驴呢？我还有一头驴呢！”
牵卒说：“相公啊，驴还用牵吗？”
王安石说：“要的！没你给我牵着，我不踏实呀！”俩老头儿又一起愉快的出行了。
他想住到这个新住所的原因也很简单，之前遛弯儿的时候有个好朋友很谈得来，那人叫杨德逢，就住在那里。这个老朋友并不是什么鸿学大儒，也不是高官富贾，只是一个还算富裕的农民。由于他住在一个湖的南边，王安石帮他取了一个号，号“湖阴先生”。自从王安石住到那里，王安石也就号半山居士了。在这里，王安石接待了来看望他的书法巨匠襄阳米芾。大画家李公麟来看望他，还给他画了一幅肖像画。然而，最有趣的当属与大文豪苏轼的会面。那时的苏轼已自号东坡居士，王安石号半山居士。那次相见真是太有趣了，苏东坡与王半山的相会，是两位居士、两块不起眼的坡地的相会，却是两座高峰的相会。
致仕后的王安石诗风也发生了很大变化，不再如同先前那样，所有句子都在用典，而且所引的典故都很生僻难懂。这时的诗风更有诗的美感。有次，他想约杨老头见见，写了首诗《招杨德逢》。
招杨德逢
山林投老倦纷纷，独卧看云却忆君。
云尚无心能出岫，不应君更懒於云。
不知杨老头看到王丞相发来的邀请函作何感想，他一定觉得这个邻居还不错，居然还会写诗呢！是的，这个半山老人不仅会写诗，而且诗文都是独步天下。被这个半山老人题在自家墙上的两首诗，《书湖阴先生壁二首》甚至都可以让自己的房子流传千古。
书湖阴先生壁二首之一
茅檐长扫净无苔，花木成畦手自栽。
一水护田将绿绕，两山排闼送青来。
王安石是幸运的，神宗皇帝对他的支持，让他的才华一滴都没有浪费，都洒在了这片他所热爱的土地上。他这一生都在感激神宗皇帝对他的知遇之恩。在王安石退居江宁的日子里，神宗皇帝对他也关切有加，给了他无微不至的照料。元丰年间，王安石在熙宁年间的改革已经在宋朝大地上开花结果，他写了《歌元丰五首》表达了喜悦之情，更是为独挑改革大梁的神宗皇帝鼓舞士气。
歌元丰五首之一
水满陂塘谷满篝，漫移蔬果亦多收。
神林处处传箫鼓，共赛元丰第二秋。
神宗皇帝从即位开始就立志要做一个奋发有为的皇帝。王安石百折不挠的意志更是给了他第一手教学资料。他始终不能忘记，继位之初，就连先皇的丧礼三司都拿不出钱办，只能动用内藏库。内藏库是太祖皇帝励志攒钱，把幽云十六州要么买回来，要么打回来而设置的。等神宗皇帝即位的时候，大宋已建国百年，不仅幽云十六州没有能打回来的迹象，西北的定难五州也丢了，西夏还建国了。不仅如此，还不得不从这个原本就少的可怜的内库里拿出钱给大行皇帝办丧礼。神宗皇帝内心的苦涩只有他自己知道，而满朝道貌岸然的文官都在唱高调，提着不切实际的意见。只有王安石愿意挺身而出，为大宋改革出路，帮他实现富国强兵的梦想。
现在国家也有钱了，钱多到把国库都装满了，还又建了好几十个仓库。神宗皇帝非常高兴，写了一首四言诗，共八句话：“五季失图，猃狁孔炽。艺祖造邦，意有惩艾。爰设内府，基以募士。曾孙保之，敢忘厥志。”便把这三十二个字作为每一座库房的名称，储蓄变法所得，号“元丰库”。很快这三十二个库就又装满了，神宗皇帝又写了首五言诗，共四句话：“每虔夕惕心，妄意遵遗业。顾予不武资，何日成戎捷。”再度增设二十库，每字为一库名。把国库装满，这是大宋建国百年来几代帝王的夙愿，如今在神宗皇帝的治下实现了。
这给了神宗皇帝十足的信心，他坚信王安石的变法是对的，他也自信已经学会了王安石的治国理政方略。神宗皇帝不希望再听到有人对新法说三道四，他希望下一阶段的变法按照他的意见，由他本人独立领导完成，发生“乌台诗案”这样的事件就不足为奇了。然而，国库里充满了钱并不表示国家就实现了美政。没有监督与每时每刻的纠偏，国家治理就会偏向一方，以至于随时间越偏越远，甚至最终走向万劫不复。如果这时他能把司马光召回来，听听不同人的意见，综合一下各派意见，宋神宗皇帝一定可以成为一个更加伟大的皇帝。可他没有这么做，不仅没有，他还打算通过一系列官制改革让批评的声音彻底消失。
元丰二年（1079），李清臣上奏指出：“本朝官制踵袭前代陈迹，不究其实，……官与职不相准，差遣与官职又不相准。”要求进行改革。
李清臣所说的确实是一个大宋朝的重疾，大批的科举取士、恩荫，造成了大量的冗官无法安排。以致于任官制度有官、职、差遣三个体系，且叠床架屋。官，源于唐三省六部制的职事官系统，官名用于表示官位、俸禄高低，故又称寄禄官，如礼部侍郎、工部尚书之类。职，又分馆职和贴职。馆职指官员在三馆、秘阁中所任职务，如秘阁校理、直史馆。其他官兼馆职，称贴职。贴职一般为文官荣誉头衔，他们并不去馆阁任职，如天章阁待制知湖州、龙图阁直学士知淄州等。差遣是实际职务，如知黄州、权知开封府。大量冗官造成了看其官名都不知道他实际在做什么，如将作监丞通判淄州，需要知道将作监丞是官职，按此领俸禄，通判淄州才是差遣，那他应该就在淄州官府办公。
李清臣提出的问题确实切中了大宋时弊，而神宗皇帝打算进行的再彻底一些。他打算把谁都管，谁都不负责的部门进行裁撤；把只提意见，不给措施的部门地位降低；把中书省、门下省、尚书省的职能恢复。神宗皇帝其后进行的官制改革，史称“元丰改制”。