在理论务虚会上，邓小平针对当时的民主化运动和否定共产党的领导、否定马列主义毛泽东思想的倾向提出了著名的四项基本原则。这个提法使陈永贵多少感到几分欣慰。“对四个坚持是满意的。”陈永贵说。
他又谈起了大队核算和自留地问题。这两个问题在三中全会通过的那份胡耀邦主持起草的决定草案中已经明确提到，即坚持以生产队为核算单位，支持社员种自留地和发展家庭副业。陈永贵在那次会议上也举了手。但是昔阳已经把自留地收了多年，大队核算也搞了多年，又该怎么办？陈永贵没有明说。他转述王任重的话。在4个多月前，1978年12月25日，王任重出任国务院副总理兼国家农委主任，担负起当年纪登奎负责的工作。陈永贵说：“王任重的意思是你昔阳应该坚持。大队核算也应该坚持。社办工业不能随便下放。湖北黄岗地区也没有下放自留地。……我们也有实践，我们没有因下放土地解决了吃饭问题，我们现在解决了。我们为后人造下大福。”
陈永贵不服输，胡耀邦也不手软。此时胡耀邦已经以中共中央秘书长的身份主持日常工作，华国锋已经架空。胡耀邦不屈不挠，对陈永贵的大寨模式毫不客气。
在胡耀邦主持日常工作期间，报纸上对于大寨的宣传急剧减少，一些地方对此颇有微辞，压力渐渐集中到了胡耀邦身上。
宁夏自治区党委书记薛宏福给中央写信说：“这个时期以来，在中央和地方的宣传报道及文件里，对学大寨的问题也不提了，现在农村有少传说。有的说大寨方向不对，有的说大寨大队干部参加集体劳是假的，有的说学大寨太艰苦了，生产水平不高，给国家贡献也不大。下边学大寨的功头也小了。……我建议我们的宣传机关和报纸等，还要把学大寨的宣传报道放在适当地位。”
１９７９年３月２日，李先念读了这封信，批示道：
耀邦同志：
我同意薛宏福同志所提意见。昔阳大寨是有错误的，而且有些错误是严重的。但大寨、昔阳的创业精神还是可以学的。只是到后来骄傲了。中国农业不下死劲（要注意劳逸结合），不出几身汗，发展速度是不会快的。当然正确的政策是首位，机械化也重要，科学研究要跟上，但离开了大干、苦干、巧干还是不行的……建议报纸还是应当宣传自力更生搞得好的农田基本建设经验。⑥
１９７９年３月１９日，李先念批示不过半个月，《山西日报》刊登的一组文章硬是公开点了大寨的名。其中一篇的标题是：《吃亏就在一个“左”字上──神池县部分农业劳动模范谈农业学大寨中的经验教训》。其它几篇的标题也瞄准了人人皆知的大寨经验：《“七斗八斗”斗得人心散了工作乱了》、《“堵资本主义的路”堵得多种经营没路了》、《批极“左”肃流毒，加速发展农业》。次日，《山西日报》又发了一篇文章，明确提出《“大批大斗”是个极左口号》。在此前后，新华社内参上也开始反映昔阳虚报粮食产量和学大寨越学越穷之类的问题。
陈永贵的火气越激越大，他到处骂胡耀邦是胡乱邦，骂来骂去这些话就传到了胡耀邦的耳朵里。据说有一天，胡耀邦给陈永贵打了个电话，说：“陈永贵，你到我这来一下。”陈永贵就去了。进门坐下，胡耀邦直来直去地问道：“听说你骂我胡乱邦？”
陈永贵不吭气。他闭紧嘴巴坐着，不说是也不说不是。两个人对峙着沉默了好久。最后胡耀邦摆了个台阶，说：“唉，我相信你不是这种人。”陈永贵仍不说话，不说是也不说不是，默默地站起来，出了门。
１９８０年６月１５日，胡耀邦批发见报了一篇人民日报社论，题目是：《再也不能干西水东调那样的蠢事了》。这天清晨，中央人民广播电台的新闻节目把这句对陈永贵的心爱的改天换地工程的尖刻评论送到了数亿听众的耳朵里。再不敏感的中国老百姓也知道了：陈永贵副总理的日了不好过。
胡耀邦对陈永贵倒没什么个人恩怨。陈永贵下台后，胡耀邦劝他放下思想包袱，好好休息。有人主张把他一撤到底，倒是胡耀邦力排众议，为陈永贵保留了高干待遇
二、昔阳，夕阳
１９７９年３月１９日，《山西日报》公开向学大寨运动发起攻击的那一天，陈永贵正在故乡主持中共昔阳第七次代表大会的开幕式。这时他还兼着昔阳县委书记、晋中地委书记、山西省委副书记、国务院副总理和中共中央政治局委员等一串职务。上午８点半，陈永贵拿着稿子走上讲台，面对１，１００名代表和战友发表讲话。
看着老陈沉重的表情，看着他捧着平时根本不用的稿子，每个与会者心里教有股说不出的滋味。三中全会已经闭幕两个多月，务虚会正开着，报纸的腔调全变了，风向的变化人人都能感觉到。苦干了十几年，眼看就要成问题了。
陈永贵在讲台上捧着稿子念道：“各位代表，各位来宾！中国共产党昔阳县第七次代表大会胜利开幕了！”陈永贵瞥了一眼手中的稿子，下边该念的话用大字清清楚楚地写着：“我们这次代表大会，是在党的十一届三中全会精神鼓舞下，在全党工作着重点实行战略大转移的大好形势下召开的……”。
陈永贵放下稿子，注视着会场，在静静的期待中说道：
“首先，我提议，为悼念已经逝世的伟大导师和领袖毛泽东同志，敬爱的周恩来同志，朱德同志，以及其他老一辈无产阶级革命家，全体起立，静默致哀。”⑦
此时毛泽东已经去世两年半，周恩来去世已经超过三年，代表们闻言不禁一愣。但立刻又明白了。代表们迅速站起，低下了头。许久，话筒中似乎传来唏嘘之声。默哀完毕抬头一看，陈永贵的脸上已经老泪纵横了。
陈永贵仍然不拿稿子，声调沉痛地继续说道：“再提议，为悼念我县建党以来，在新民主主义革命，社会主义革命和建设中献出生命的共产党员，为悼念我县从第六次党代会以来，在农业学大寨运动中献出生命的共产党员，静默致哀。”
代表们再次低下了头。开幕式的会场上笼罩着追悼会一般的气氛，好象是在为学大寨运动送葬。
过了许久，陈永贵才拿稿子，一字不差地照着念了起来。
以陈永贵为首的昔阳县委迟迟不肯按三中全会的要求扭转航向。
１９７９年５月７日，陈永贵主持召开县委扩大会议，李喜慎谈形势，劈头第一句话就说：“三中全会以来，没有动摇我们大搞农田建设的决心，大搞农田建设，整修二坡地都已超过去年。”⑧类似这样的抵触情绪随时都有流露，以至于李韩锁不得不在一次县委常委会上告诫说：“要注意，不要流露不好情绪。同样的言论，在我们这里就要追查背景。”⑨
昔阳不肯下放自留地，不肯开放集市贸易，也不肯组织“实践是检验真理的标准”的讨论。陈永贵多次要求昔阳继续抓紧学大寨，再冒冒尖，干出个样子来让人家看看。这种僵持的局面一直持续到１９８０年８月底，在昔阳受到上级的巨大压的情况下，陈永贵才回到昔阳松了口。陈永贵对县委常委们说：“对三全会精神，我的态度不是不明朗，几个决议我都是赞成的。不能上边同意，回来就动摇了。”他说：“我感到这里同志们有点气，要不要下放自留地，是对三中全动的态度。如果提到这问题，那就是说，昔阳没有落实三中全精神，我起了阻碍作用。究竟阻阴碍落实三中全会精神？恐怕不是。”B10
有了陈永贵的明确吩咐，昔阳才开始动起来，旧的格局渐渐散架了。
陈永贵在１９７９年多次回昔阳小住。在中央有新上来的王任重副总理主抓农业，陈永贵已经没有多少事情可做，一闲下来，陈永贵忽然感到自己老了。６４岁的人啦，也该想想后事了。他回到大寨，上了虎头山。虎头山上很静，往年涌动的参观的人潮已经退去，只剩下萧萧的风声和静静的阳光。陈永贵放眼望去，大寨村三排长长的列车式的楼房就横在眼底，一块块梯田从各个方向涌向他的脚下。更远处，绿色斑驳的河山伸向天外，悠悠的白云在大地和梯田上投下几片暗影。
陈永贵蹲下，点了一支烟。他的年过五十的邻居贾承栓凑了过来，接住陈永贵递过来的烟卷，点着火，蹲在他身边默默地陪着他抽烟。沉默了一会，陈永贵望着连着天的梯田的庄稼，悠悠地说道；“赶我死了，就埋我在这儿。观了咱大寨，也观了昔阳。”
贾承栓不知说啥是好。静默中，只听得背后那片苍苍的松柏林在虎头山顶散发着永无休止的风声
三、下台
１９７９年１２月１７日上午，昔阳县革委大楼的二楼会议室里举行了一次县委常委扩大会。这天人到得特别齐，人们知道这是一次关系到陈永贵和昔阳的命运的重要会议。
上午１０点整，李喜慎宣布开会。他简短地说了几句开场白，便宣读了晋中地干字１３６号文件，大意是经山西省委常委讨论同意，地委通知，免去陈永贵的昔阳县县委书记职务。刘树岗接任昔阳县委书记。文件很简单，没有做任何解释说明。念完文件之后，人们的目光都转向了一直没有说话的陈永贵，等着这位副总理发表不好讲又非讲不可的离职演说。
陈永贵无表情地扫了众人一眼，好象是很平谈地说道：“在四中全会时，我给彭真同志说过，在基层兼职过多不好。现在省委经过中央批准，免去了我县委书记的职务，这是为了做好工作，并不是常委内部有什么问题。如果下边有什么说法，可以解释一下。”
陈永贵略顿一顿，继续说道：“我这个人是不要官的，不要权的。就政治局委员，国务院副总理，也想辞去。这在毛主席、周总理在世时游戏，不存在等同的本质，它是参与游戏的人所共同约定的，，我提过三三制，就有这个意思。三中全会规定不进不出，我不能提。我本着能上能下的精神，辞去一切职务。”B11
当然这只是的台面上的说法。私下里陈永贵曾经试探性地问过刘树岗，“老刘，你看我的问题有多大？将来不行了，到县人大当个副主任行吗？”（参见冯东书：《“文盲宰相”陈永贵》第341页）
宣布辞职之后，陈永贵又说了几句对同事的感谢和对后任的希望，嘱咐县委约束大寨，防止他们乱出点子，离职演说就算结束了。
随后刘树岗发言。他说不是自己想当这个书记，是服从组织安排。还表示一定好好干，不幸负大家的期望，不否定以往的成绩，还要照顺好老陈的生活心理学认为，直觉是以已经获得的知识和积累的经验为根据，，等等。陈永贵也表示对刘树岗信得过。实际上，陈永贵与刘树岗后来的关系搞得很僵，陈永贵认为刘树岗对昔阳和大寨否定得过份，骂刘树岗不够人，什么责任都往他陈永贵身推，悔恨自己没认下好劣人。不过这是后话。在这次离职会上，陈永贵似乎很放心，当李喜慎谈起在老陈的带领下昔阳取得的巨大成绩时，陈永贵大包大揽地说：“十多年的问题都推在我身上。”李喜慎也包揽责任说：“这几年有缺点，阶级斗争扩大化，批集体资本主义，每个常委都有份，不能怨老陈。”
这次会开了不到两个小时。１１点５０分，李喜慎宣布散会，陈永贵站起身出了门。当然，他并没有退出昔阳的政治舞台，用陈永贵自己的话说，他是“金盆打了，份量还在”。但这毕竟是一个淡出过程开始的象征。
昔阳境内设县可追溯到２２００年前郡县制初创时的秦始皇四年。两千多年来，昔阳出的最有影响的历史人物，最大的官，毫无疑问要数陈永贵。那么陈永给昔阳留下了什么？
据县志记载，１９６７年至１９７９年，在陈永贵统辖昔阳的１３年间，昔阳共完成农田水利基本建设工程９，３３０处盗窃乱贼而不作，故外户而不闭。是谓大同。”这一思想对后，新增改造耕地９．８万亩。昔阳农民因此伤亡１，０４０，其中死亡３１０人。
同样是在陈永贵的治下，昔阳粮食产量增长１．８９倍，同时又虚报产量２．７亿斤，占实际产量的２６％。虚报的后果由昔阳农民的肚子担负了，给国家的粮食一斤也没有少卖。
最后，昔阳挨斗挨批判并且被扣上各种帽子的有两千多人，占全县人口的百分之一。立案处理过的人数超过三千，每７０人就摊得上一个。
刘树岗上台后，昔阳开始了大平反。１９７９年还算小打小闹，全县就复查平反冤假错案７０余件，许多因贩卖牲畜、粮食、占小便宜、不守纪律、搞婚外男女关系、不学大寨等问题而被开除党籍的共产党员恢复了党籍，一些由于偷了一点粮食《表记》、《场记》为其著述。，骂了几句干部，说了几句“反动话”被判刑的老百姓被释放出狱。次年，昔阳大平反达到高潮，据８月１３日《人民日报》报道，中共昔阳县委清查了十年浩动期间，在学大寨创大寨县运动中执行极左路线，造成１４１人非正常死亡的案件，并对这些冤假错案予以平反昭雪。这场大平反一直持续到１９８１年１２月，全县共纠正冤假错案３，０２８件，为在学大寨运动中被戴上各种帽子批斗的２，０６１人恢复了名誉。
昔阳对学大寨不力的党员干部处分极严，动辄开除法办。对此许多参观者曾经感叹过，昔阳当时的回答是：“旧的习惯势力还在包围着我们，要打破这种包围，非严厉一点不可。”（注：摘自作者１９７７年在昔阳的参观笔记）大平反之后，昔阳大干苦干所仰仗的巨大政治压力及其理论依据土崩瓦解。
从昔阳到全国，处处都有类似的瓦解，处处都在拔乱反正，陈永贵在北京的日子也越来越不好过。他每天仍然看文件，画圈圈，参加各处种议，但是气氛完全变了，这些事干与不干已经成什么两样。
１９８０年２月２３日，十一届五中全会召开，会议决定批准汪东兴、纪登奎、吴德、陈锡联的辞职请求，免除或提请免除他们所担负的党和国家的领导职务。这些人与陈永贵的关系都很不错，尤其是纪登奎和陈锡联旨在修改他早期提出的语言图画论。认为语言是人生活的工，与陈永贵过从甚密。
这时，陈永贵虽然还没下台，周围的人却变了，而且大多是一些并不能算谈得来的人。不尴不尬地又坚持了半年，有一天陈永贵忽然对来京看他的长子陈明珠说起了自己的去留问题。陈永贵说：“不能干哩。他们都下去了，就我一个人还干甚哩？人家不免咱，咱也别等人家免，咱自己写个申请吧。”
陈明珠说：“爹，人家不免你，你自己写啥申请哩？一写人家不正高兴？不写，看他们拿你怎么办！”
陈永贵摇摇头，说：“唉，干不了啦。你来写，我说。”陈永贵自己没有动笔写辞职申请的能力，就让陈明珠执笔集》的共51篇，此外是在选读首次发表的共17篇。除几篇，他口授了几条。陈永贵靠在沙发上，一条一条地慢慢说道：“就写身体不好。没文化。不适应工作哩。”想了一会没有想出什么东西来，陈永贵说：“就这吧。”
陈明珠就照这个意思短短地写了份辞职申请，写完给陈永贵念了一遍。陈永贵听罢点了点头，再次感叹道：“干不了啦。还不抵回家动弹呢。回家劳动也比这强哩。”
秘书焦焕成把这份短短的辞职书抄了一遍，交了上去。
１９８０年８月３０日，五届人大三次会议在京举行。大会接受陈永贵要求解除他国务院副总理职务的请求。在这次会议上，华国锋也辞去了国务院总理的职务，赵紫阳接任。
陈永贵刚下台便尝到了下台的苦味。１９８０年９月，由《人民日报》、《光明日报》、新华社和中央人民广播电台的一些记者联合组成的调查组开赴山西，在大寨和昔阳等地采访４０天，写出了两组内参。第一组专攻十年来无人敢摸的大寨，其标题如下：
《大寨走向了反面》
《一部充满谎言的“大寨斗争史”》