率兵讨平黄巾之乱，威震天下。 战后升任左车骑将军，领冀州牧，封槐里侯。到任后，他奏请减免冀州百姓一年的租税。后因得罪权宦赵忠、张让而被罢免，改封都乡侯。 于中平五年（188年），被起用为左将军，击破王国叛军。董卓掌权时，皇甫嵩遭到陷害，经其子皇甫坚寿求情，才得以保全性命。董卓被诛后，出任征西将军，诛灭其宗族。晚年历任车骑将军、太尉、光禄大夫、太常等职。 兴平二年（195年），皇甫嵩去世，获赠骠骑将军。后唐德宗时，位列武成王庙六十四将；宋徽宗时，位列武庙七十二将之一。 ——大汉百姓歌曰：天下大乱兮市为墟，母不保子兮妻失夫，赖得皇甫兮复安居。