元干出身书香门第。其父名动，进士出身，官至龙图阁直学士，能诗。张元干受其家风影响，从小聪明好学，永泰的寒光阁、水月亭是他幼年生活和读书处。十四五岁随父亲至河北官廨（在临漳县）已能写诗，常与父亲及父亲的客人唱和，人称之“敏悟”。
梁公骑马到我门，手持一幅范宽画。
入门大笑挽我臂，请向中堂壁间挂。
绢阔四尺高丈余，一片雪意寒模糊。
盖因此画历岁久，坡脚破缺裁欲无。
大山小山玉相琐，树石人家无不可。
有人骑驴涉长道，有人下马呼江舸。
想其盘薄心神融，布置自与元气通。
笔势惨澹魂神泣，艺苑久矣无良工。
其上已有三人作，巢云留清与耕乐。
或情或景各其妙，我欲续之愧粗恶。
梁公梁公听我语，此画曾入《宣和谱》。
真是《寒江待渡图》，切莫向人容易与。