元干出身书香门第。其父名动，进士出身，官至龙图阁直学士，能诗。张元干受其家风影响，从小聪明好学，永泰的寒光阁、水月亭是他幼年生活和读书处。十四五岁随父亲至河北官廨（在临漳县）已能写诗，常与父亲及父亲的客人唱和，人称之“敏悟”。
逍遥之亭在何许，城角西南小溪浒。水仙粉面浮清波，羽林兵仗森三亩。
六月微风拂面寒，不信人间有烦暑。借问逍遥真隐徒，西山看雪倒骑驴。
形骸兀兀天壤俱，画手争以丹青模。大言得罪仅免诛，斥参军事来当涂。
传云此地旧结庐，百年荆棘遗荒墟。公来相址呼犁锄，双亭化出琼璃铺。
栏干斗角明青朱，四座莹彻纤埃无。兰芬麝裂陈罂盂，珠履珊珊陪后车。
东瞻宣诏西浮图，晓光夕景迷蓬壶。爱公心昼如明珠，落成之乐政事馀。
为公歌，劝公醉。留连亭上能几时，行促星轺还玉陛。