衙署的建制是前衙后宅，杨安玄封雍公后，在衙署的北面新辟了三进两出院落，前院是书房、客房和待客之所，校场亦设在前院；中院分成两个院落，东院住着孔苗、杨愔夫妻以及杨莹，西面住着阴慧珍、杨翼和杨锐；后院则是袁氏的住处、佛堂和花园。

杨安玄有三子一女，长子杨愔，次子杨翼，三子杨锐，女儿杨莹最小。杨愔被立为世子，因为杨安玄常年征战在外，对子女的教育不多，杨愔的教育多由学宫的老师和其舅孔鲜负责，家中则是孔苗平日念叨。

在这些儒学大家的熏陶下，杨愔熟读经典，博学多文采，十三岁时便写出士林传颂的“襄阳赋”，被人誉为不输其父。杨愔表现得宽宏大气，为人和善友爱，深为儒士所喜，学宫中的才学之士都喜爱与他交游。

杨翼仅比杨愔小一个月，因为习武的原因，杨翼个头反比杨愔高，十五岁的少年郎快与杨安玄齐肩，身材挺拔，英武过人，除了上午到学宫外，平时最喜欢到军营中骑马射箭。

杨翼十岁时(414年)，杨安玄经得慧远大师(416年逝)同意传授其大雁功传授，五年功夫小有所成，杨翼骑马持槊，在军中鲜有对手。

三子杨锐最得祖母喜爱，袁氏说他跟杨安玄小时一模一样。杨安玄得知后苦笑，所谓一模一样无非是说调皮好玩，杨锐时常趁着散学空闲到城中游逛、玩耍，时常被妹子杨莹捉到，只得带了她一同前去。

兄妹虽是同父异母，杨莹与三哥的感情最好。

阴慧珍担心杨锐变成纨绔子弟，向杨安玄提出找一位严师教导杨锐。

杨安玄让丁全暗中探知杨锐在集市上的行为，得知杨锐与集市上的孩童玩在一起，会倾其所有相助被窃的商贩，也会为眼馋肉包的小女孩递上两个包子；面对小偷敢于掷石提醒，会钻到勾栏的内部看妓娘扮妆，会偷偷地买壶村酿与伙伴分享；也会跑到河边游泳、抓鱼，到农人的田中偷豆……

丁全对杨安玄说起这些时忍不住嘴角露出笑容，他出身市井对杨锐的所做所为倍感亲切。