常衮登第后由太子正字授补阙起居郎,永泰元年(765年)授中书舍人。大历十二年(777年)拜相,杨绾病故后,独揽朝政。以文辞出众而又登科第为用人标准,堵塞买官之路。对朝中众官俸禄亦视其好恶而酌定。封河内郡公。德宗即位后,被贬为河南少尹,又贬为潮州刺史。不久为福建观察使。常衮注重教育,增设乡校,亲自讲授,闽地文风为之一振。建中四年(785年)死于任上。享年五十五岁,追赠为尚书左仆射。
昌哉我牧,百夫之特。瞬洞万棼,平吞四渤。经库储学,智囊韬识。
鸾刀一振,百截以讫。吴材总升,胡特我特。载笑载言,载咏以绎。
有作斯属,惭孤善述。冥留灵逝,奚赎身百。九京有知,有茹阗臆。