常衮登第后由太子正字授补阙起居郎，永泰元年（765年）授中书舍人。大历十二年（777年）拜相，杨绾病故后，独揽朝政。以文辞出众而又登科第为用人标准，堵塞买官之路。对朝中众官俸禄亦视其好恶而酌定。封河内郡公。德宗即位后，被贬为河南少尹，又贬为潮州刺史。不久为福建观察使。常衮注重教育，增设乡校，亲自讲授，闽地文风为之一振。建中四年（785年）死于任上。享年五十五岁，追赠为尚书左仆射。
忆昔与君同射策，同舟同馆心胶漆。万言入奏甘弃置，赖有湖山好看客。
归装濡滞及黄池，半菽寒菹作除夕。慨慷相与期古人，聊复名场借梯级。
君家三秀立分鼎，太阿觉君锋更颖。吏行凫鹜鬨尘坌，寒露玉壶夐光炯。
五羊仙伯两眼明月秋，荐书万里彻冕旒。四贤同时一网收，朔风扶柂长江流。
迟顽我自费推激，隐忧百罹霜鬓出。未能勇决便幽栖，宁免随阳睨残粒。
送君矫翮玉霄去，为我一破胸怏悒。向来四海李兵部，正色立朝古遗直。
九原凛凛有生气，馀愤须与君湔涤。世故翻覆况多端，沉思使我心胆寒。
谁生厉阶今为梗，涓涓不窒惊涛澜。不知聚几州铁铸此错，百尺竿头一步底处著。
天位天职特用轩轾人，明眼勘破定何物。波流何可金石转，鲍肆讵能兰麝夺。
君不见考功望郎谏疏沥忠赤，垂绅满朝皆太息。
信有宗工妙绳尺，梁园我亦尘下客。法当冗散逃百谪，满意诸贤拱霄极。
谠言正论囊封溢，国势不难一枰活。正途未易荆榛辟，有谋勿惮时造膝。
救溺拯焚奚可失，海南波宽老龙蛰。朝朝满涧玩泉石，当为诸贤失衰疾。
我亦三叫喜动色，早愿采薇休戍役。
公府传休沐，私庭效陆沉。方知从大隐，非复在幽林。
阙下忠贞志，人间孝友心。既将冠盖雅，仍与薜萝深。
寒变中园柳，春归上苑禽。池涵青草色，山带白云阴。
潘岳闲居赋，钟期流水琴。一经当自足，何用遗黄金。