1972年9月29日、中華人民共和国の首都北京市にて、日本国内閣総理大臣・田中角栄と中華人民共和国国務院総理・周恩来の両者が署名した『日本国政府と中華人民共和国政府の共同声明』に基づき、両国間の国交が樹立（日中国交正常化）したことを受け、両国間の駐在公館開設が決定しました。この声明に基づいて中華人民共和国は1973年、東京都港区に設置し、初代特命全権大使として職業外交官の陳楚（ちんそ）を派遣し、着任させました。爾来、2023年時点で13人の駐日特命全権大使が派遣されています。第13代駐日中華人民共和国特命全権大使は呉江浩が、2023年3月21日に着任しました。歴代大使からは外務大臣に昇格した人を輩出し、2004年から2007年にかけて駐日大使を務めていた王毅が外務大臣になっています。大使館の敷地は、大正時代には、関東大震災で、東京都復興院総裁を務めた内務大臣後藤新平の私邸でした。昭和時代には駐日満洲国大使館、戦後は、断交前の駐日中華民国大使館が設置されていました。