1980年十一屆五中全會後，**副總理***的工作很不盡如人意，半年後，他突然對兒子陳明珠說：我不能再幹了，你可以幫我寫乙份辭職報告，或者主動回家種地。 陳明珠不理解父親的要求：他辭職怎麼會有理由？ 如果人們不想要你，你就繼續做下去。 **揮揮手告訴陳明珠：你替我寫，讓別人不要找我。 我周圍的人都變了，這還意味著什麼？ 你說我做不了我的工作，辭掉工作回家。
1980年2月23日，王東興、吳德、**等同志辭去領導職務。 與這些幹部的關係很好，不僅這些同志淡出了，就連支援他們的同志也處於有些微妙的境地。 **以為情況變動超出了他的預料，他越來越做不了，於是感嘆“身邊的人都變了”。 在***的堅持下，陳明珠為他準備了辭職信，主要是因為身體不好，文化不足。 最終，他於1980年9月辭去副總理職務。
**是乙個不能閒著的人，他選擇主動辭職，其實更多的是出於無奈。 **因為大寨的成就而聞名全國，但在70年代後期，大寨模式逐漸受到質疑，甚至有人指出增產資料中有水分，**需要承擔領導責任。 不久前，他回到西陽縣開會，私下裡問了西陽縣新任縣委書記劉樹剛你認為我的問題有多大？ 以後能不能回西陽縣做全國人大副主任之類的工作？ 可以看出，**心裡並不想“結束”。 但出於對***的考慮，他沒有被允許回老家，而是在北京安排了住房。
辭職後，一些機關和單位不再有禁忌，客觀上對推動農業改革也有一定的作用。 比如新華社、《人民》等主流**連續發表文章：“大寨走對立面”、“七戰八戰”給大寨造成了嚴重後果“、”西陽向大寨學習了“”偉大社會主義“的成敗等等，這些文章讓***感到憤怒和無助。 但他並沒有否認工作上存在的問題，在向***等老朋友抱怨之後，他還是顧及改革的大局，選擇接受批評。
1983年，經過三年的閒暇，***終於忍不住向組織申請，說自己年紀不大，想做一些具體的事情，希望能重新安排一下自己的工作。 小平同志曾被公正評價為“優秀基層農業幹部”，因此組織不會拒絕他的應聘。 只是***的身體狀況不太好，組織從實際考慮，讓他當了東郊農場的“顧問”，有些工作要做，也不算太累。
這種安排讓***非常滿意，他說他“不想要領導職位，我是農民，務農是我的職責”。 晚年，**終於實現了他“田間勞作”的願望。 不幸的是，1985年的一天，***突然暈倒在地上，經過全面檢查，證實陳老已經到了肺癌晚期，日子不多了。 翌年3月，***病逝，家人按照他生前的指示，將他的骨灰安葬在山西省西陽市虎頭山。