上将为许多国家将级军官中最高级别的军衔称号。最早的俄军上将军衔由彼得一世设立，根据1716年陆军条令规定，俄军上将担任总司令官，级别相当于元帅，有权领导将军“军事会议”。中国军衔制历史中，中华民国北洋政府时期、国民政府时期和中华人民共和国军队都有设立上将军衔。
1955年2月8日，中华人民共和国第一届全国人民代表大会第六次会议通过《中国人民解放军军官服役条例》，中国人民解放军正式实行军衔制。其中，将官设置为：大将、上将、中将、少将。上将为将官中的第二个级别。
1965年5月22日，中华人民共和国第三届全国人民代表大会第九次会议通过了《关于取消中国人民解放军军衔制的决定》，1965年6月1日开始实施。
1988年7月1日，中华人民共和国第七届全国人民代表大会第二次会议决定恢复军衔制，并通过《中国人民解放军军官军衔条例》。军衔条例规定，上将分为一级上将和上将两个级别，一级上将空缺未授予。
1994年5月12日，中华人民共和国第八届全国人民代表大会第七次会议通过了关于修改《中国人民解放军军官军衔条例》的决定，不再设一级上将。修改后的军衔设3等10级，即将官：上将、中将、少将;校官：大校、上校、中校、少校;尉官：上尉、中尉、少尉。上将为最高军衔。
上将军衔根据不同兵种分为：陆军上将、海军上将、空军上将。
1995年7月，中央军委批准，武警部队总部升格为正大军区级，由此设立武警上将警衔。
陆军上将为中国人民解放军现行军衔制中陆军最高军衔。军衔条例规定，中央军委副主席、中央军委委员、总参谋长、总政治部主任一律授予陆军上将军衔。陆军上将还是正大军区职军官的主要军衔。正大军区职包括副总参谋长、总政治部副主任、总后勤部部长、总后勤部政委、总装备部部长、总装备部政委、大军区司令员、大军区政委等。
海军上将为海军正大军区职军官的主要军衔，也是中国人民解放军现行军衔制中海军最高军衔，一般只授予海军司令员、海军政治委员。