常衮登第后由太子正字授补阙起居郎,永泰元年(765年)授中书舍人。大历十二年(777年)拜相,杨绾病故后,独揽朝政。以文辞出众而又登科第为用人标准,堵塞买官之路。对朝中众官俸禄亦视其好恶而酌定。封河内郡公。德宗即位后,被贬为河南少尹,又贬为潮州刺史。不久为福建观察使。常衮注重教育,增设乡校,亲自讲授,闽地文风为之一振。建中四年(785年)死于任上。享年五十五岁,追赠为尚书左仆射。
蒹葭滴露芙蓉死,画舫娇娃摘莲子。莲房摘尽雨盖枯,几柄犹存夕阳里。
鹡鸰羽翼何轻盈,随风下上双飞鸣。几回谑浪学沙鸟,并立莲塘如有情。
烟寒水冷秋无际,画史挥毫岂无意。入手看来倍感伤,閒倚南薰咏棠棣。