与声孟子的胡搅蛮缠相比，齐灵公在家事国事上的率性而为也不遑多让。他年轻的时候，娶了鲁国的公主为夫人，称为颜懿姬。按照当时的风俗，诸侯娶妻，妻家要以妻妹或妻侄女陪嫁，称为“媵”。颜懿姬没有子嗣，但她的侄女鬷声姬为齐灵公生了一个儿子，被立为大子，也就是大子光。除了鲁国公主，齐灵公还有很多妻妾，其中来自宋国的戎子受到特别的宠爱，但也没有生育。戎子的姐姐仲子生了公子牙，从小就交给戎子抚养，戎子视之为己出。眼看齐灵公将不久于人世，戎子就跑去向他请求，让他立公子牙为大子，将来继承齐国的君位。看到戎子哭得梨花带雨，齐灵公的心一下子就软了，也没考虑后果，就答应了戎子的请求。公子牙的生母仲子听说这件事，大吃一惊，坚决表示不同意，说：“万万不可这样做！废长立幼是不祥之事，触犯诸侯则更难以成功。这么多年来，光以大子的身份多次参与诸侯事务，已经得到诸侯的公认，现在无缘无故废除他，是公然藐视诸侯的行为，您一定会后悔！”齐灵公不耐烦地说：“立谁为大子，是我自己的事，与诸侯何干？”于是命令大子光迁到齐国东部去居住，改立公子牙为大子，又任命高厚为大子太傅，夙沙卫为大子少傅，负责辅佐大子登基。