中共中央由武汉迁至上海后，为了改变国共合作破裂以来全党涣散的局面，适应党的全部工作转入地下的新形势，中共中央根据“八七”会议上制定的“造就坚固的能奋斗的秘密机关”的要求，对党组织进行了全面的恢复、整顿和重建，并先后在中央常委会下组建了组织部、宣传部、军事部和秘书处等机构。
秘书处的工作虽然十分繁琐，但却掌握着党内全部机要工作，是沟通中央和地方党组织的枢纽，在整顿和恢复党组织的工作中担负着至关重要的责任。1927年12月，中共中央任命邓小平为中共中央秘书长，将这份重要和关键的责任交给当时年仅23岁的邓小平。
在这个时候担任中共中央秘书长，可谓出生入死。当时中共领导人之间都是单线联系，而作为秘书长，他则要把所有中央机关领导人的地址和电话都记在脑子里。据他本人后来回忆，他一生中差一点要了命的两次最大的历险都在上海。
1928年4月5日身穿西服、嘴叼香烟的邓小平按照约定，来到在上海爱文义路望德里1239号半（现在的北京西路1060弄内）罗亦农的住所。那天，邓小平与当时担任中共中央政治局常委的罗亦农接头。两个精明强干的年轻人很快将事情处理完毕，邓小平便离开了。按照地下工作原则，两人应一先一后离开联络站，所以邓小平先走一步。
青年时的邓小平
邓小平从后门出来，走到弄堂口习惯地看了一眼摆在街头的修鞋摊。一瞥间，使他大吃一惊，只见那个非同一般的“鞋匠”正在漫不经心地向他做手势，于是他知道“出事”了。他快步走到路口，再回头一望，只见联络站的大门已被几个英国巡捕死死堵住，罗亦农已无路可走。邓小平顿时出了一身冷汗，心脏像打鼓一般狂跳不止。真危险，前后不到一分钟的时间，差点儿落入魔掌。邓小平深感事态的严重，一刻也不敢怠慢，他叫了一辆黄包车，火速向中央报告这一紧急情况。
