1977年至1981年,卡特在美国国内面临巨大压力的情况下做出了与中国建交的决定。他在私人日记中记录了这一决定带来的压力,并表示愿意为此承担所有政治责任。尽管遭到里根的猛烈抨击并在1980年大选中失利,卡特始终认为与中国建交是他一生中最正确的决定之一。
卸任后,卡特与罗莎琳多次访华。2014年9月,卡特参加在人民大会堂举行的纪念中美建交35周年招待会,并访问了北京、西安、上海等地。2019年1月,卡特在纪念中美建交40周年的研讨会上表示,美中建交不仅带来了更快更好的经济增长,也使东亚地区从战乱走向和平与稳定。2020年8月,卡特在中美民间外交视频对话会上表示,尽管存在分歧,两国仍能在诸多领域展开合作。作为中美建交的见证者,卡特多次强调中国的崛起并不是威胁,并提醒青年人,美中分歧总是要远远小于双方得到的益处。