柯庆施于1954年秋由江苏省委调上海，接替陈毅主持中共上海局，至1965年4月去世，前后整整10年。讣告中称他是“毛泽东同志的亲密战友”，系当时中央政治局委员一级的规格。柯庆施1922年入党，是中国共产党内为数不多的见到过列宁的高级干部，30年代担任过中共中央秘书长的要职。抗战时期到延安工作之后，仕途便多坎坷。在整风审干期间挨过整，他的妻子因此自杀。

建国后，柯庆施在短短数年间由南京市委书记擢升到江苏省委书记，已调任中共中央组织部部长的饶漱石，因被定为与高岗结成的“反党结盟”而垮台；同年9月，陈毅被任命为国务院副总理，并内定为外交部长的人选。

这样在一两年间，华东及上海的第一二把手便相继空缺，柯庆施成为事实上的第一把手。柯庆施出任上海一把手伊始，面临的是两件大事：一是1955年4月全国党代会期间发生的“潘杨事件”，上海市副市长潘汉年被诬为“内奸”；另一件是紧接着发生的“胡风事件”。这两件大事对上海影响很大。为此，柯庆施刻意挽留奉调出任《人民日报》副总编辑的张春桥，使之成为自己的类似政治顾问一类的角色。柯庆施长于从领袖的言论中领悟其意向和思路，以得风气之先的果敢予以鼓吹和阐发，这都有赖于擅长舞文弄墨的张春桥。

1958年在南宁会议上，毛泽东措辞严厉地批周恩来、陈云力主的反冒进。他取出柯庆施的《乘风破浪，加速建设社会主义的新上海!》报告当众将周恩来的军：“你能写出这样的文章吗？”除了检讨，周恩来别无选择。用与会者李锐的话说，柯庆施成了南宁会议的“头号标兵”，65岁的毛泽东在讲话中屡称年仅56岁的柯庆施为“柯老”。

在毛泽东一度想用柯庆施取周恩来而代之的时候，心细如发的周恩来在给中央书记处的检讨文字中，婉转地提到担任总理职务是否合适的问题。以周恩来的才干和威望，邓小平主持的中央书记处会议明确表示，没有必要改变周恩来的总理职务。这样一来，柯庆施虽然未能取周恩来而代之，但自此明白自己在毛泽东心目中的地位。这位封疆大吏认准了一条：紧跟毛泽东就是“胜利”。这一条在1959年的庐山会议上再次得到验证。上庐山时，柯庆施所准备的全是关于纠“左”的材料。当毛泽东将彭德怀致他个人的信批转与会者时，柯庆施以特有的政治敏感，把握到领袖的脉搏，星夜派人下山去上海取批“右”的材料。在7月21日的华东组会上，张闻天系统而深刻地分析了大跃进以来的“左”倾错误。柯庆施以主持者的身份，不断责难张的发言。果不其然，23日，毛泽东召开全体大会，对彭德怀等人严厉指责，发出“反右倾”的号令。