孔子一生致力于实现政治理想，忙于传道、授业与解惑，很少有时间顾及家事。仅有的几次提及家事，却显露出激愤与懊恼，甚以为憾。
孔子19岁时娶宋人亓官氏之女为妻，因为这时孔子的父母都已去世，孔子的哥哥伯尼（孟皮）拿了鸡、大雁和小猪、帛锦等聘礼到亓官姑娘家去提亲，亓官氏托伯尼将一块绣有一对金灿灿凤凰的刺绣琴套送于孔子作为爱情信物。
亓官氏与孔子在民族文化上有共同来源，自然也就多了一些共同语言。
一年后丌官氏生了儿子，取名为鲤，字伯鱼。后来，亓官氏还生下一个女儿。孔子的女儿嫁给了孔子的爱徒公冶长。公冶长生在齐鲁边界，算是齐国人，长的一表人才，青年时曾在齐国做生意。孔子居齐时认识了公冶长，并收为弟子。
孔子和丌官氏两人有儿有女，本该是个美满家庭，可是，孔子和丌官氏感情不是很好，后来孔子还休了妻，当时称“去妻”或“出妻”，也曾称作“仳离”。
“唯女子与小人为难养也，近之则不逊，远之则怨。”这是孔子曾经发过的感慨。心里装满了国家大事的孔子，留给女人的位置太少了，招致亓官氏的抱怨之后，忍无可忍，直接把她休回了娘家。
孔子志向远大，太过专注于事业，对事业能保持最大的耐心，对女子却缺乏耐心，因此才会发生这样的事。也可能是亓官氏嫌孔子没钱，仕途又不顺，带一帮弟子周游列国不顾家，自己疏远了孔子。
鲁哀公十年，公元前485年，孔子夫人亓官氏去世，当时孔子正在卫国，仍然期望实现自己的政治理想，没有大办丧事。这是可以理解的，因为亓官氏已回宋国生活多年，孔子不可能去宋国为已休的妻子办丧事。孔子的徒弟们帮着在大夫蘧伯玉家借块地方设立了灵堂，供亲朋好友祭拜。
伯鱼为其母守孝一年。按照礼制，周年一过，就不应该再哭了，但是伯鱼还是穿着孝服在那里哭哭啼啼。
孔夫子听到了，不耐烦地说：“是谁在那里哭？”
弟子说：“是您儿子孔鲤。”
夫子说：“嘻！还哭个没完没了，太过分了！”
伯鱼听到后，就赶紧脱去孝服，不再哭了。
孔子认为儿子服丧期满后还在哭，认为有悖于常理，已显得过分了，因而责怪孔鲤。
孔子忙于传道授业，四处讲学，常年不在家，疏于对儿子的管教，自己虽为万世师表，但儿子孔鲤却没有受到持续的良好的教育，一生没有大的作为。
孔子有个弟子名叫陈亢，看到孔鲤和孔子单独在一起，怀疑孔子对儿子有些什么秘笈一类的传授，便问孔鲤说：“你在你父亲那儿，得到过什么特别的教导吗？”
孔鲤想了半天，说了下面两件事：
一天，孔子独自一个人站在庭院里，孔鲤正好走过来，孔子便问道：“鲤儿，你学《礼记》了吗？”
“还没有。”孔鲤回答。
“那你回去好好地读《礼记》，不学好《礼记》，就不懂得立身做人的道理。”孔子说。
于是，孔鲤回去苦读《礼记》几天。
又有一天，孔鲤又碰到父亲独自一人站在庭院中。孔子问：“鲤儿，你学《周南》、《召南》了没有？”
《周南》、《召南》是《诗经》中排在第一、二位的“风”诗，合称“二南”，都是“王者之风”，是首先要掌握的内容。
孔鲤老老实实地回答：“还没有。”
“那你应该好好去学，不学好《诗经》，就不善于表达自己的思想。”孔子说。
孔鲤听了，就回去又认真地研读《诗经》好一段时间。
陈亢听了，高兴地说：“我问你一件事，却知道了三件事，一是要学《礼记》，二是要读《诗经》，第三是老师对自己的儿子并没有什么偏爱。”
孔子对他的儿子说，首先要学习并领会《周南》、《召南》，不仅领会其诗句，还包括其乐曲；不仅诵诗，还要唱诗。此非娱乐，而关乎“大我”，关乎政教。否则，就会“犹正墙面而立也与！”鼻子碰南墙寸步难行了！
《诗经》中的诗，篇篇能唱，还编配以舞蹈，舞、乐合称为乐。孔子授“诗”，有时是诗、乐二合一而授，有时是诗、乐、舞三合一而授，皆以“诗”总之，然后与礼对举，形成修身成人的两大法门。“诗”和“礼”，延伸到一种更能体现孔子学说理念的对举方式，就是“礼”和“乐”。“乐”又可以包括“诗”。礼、乐安好，则天下大治；而礼崩乐坏，是最令孔子悲愤的。
针对孔子未能教育好儿子孔鲤的问题，孟子说，父亲亲自教育儿子，于情势上是行不通的。教育必须要讲大道理，而父子之间距离太近，讲起大道理来，儿子势必听不进去；儿子不听，父亲望子成龙心切，往往会发脾气，使用过激语言，甚至要动手教训。这就又给儿子找到了顶撞父亲的理由：‘你只会给我讲大道理，可你自己却做不到！’父子间就会伤了感情。父子间伤感情，非常不好！因为亲情乃善之始也。所以古人都是“易子而教”。
孔鲤一生下来身体就不是太好，又比较嗜酒贪杯，身体越来越差，所以很早就去世了。
孔鲤死时50岁，孔子在他六十九岁的时候失去了自己的独子，悲痛可想而知。但他遵循丧葬礼仪，儿子死时“有棺无椁”。
“椁”是套在棺材外面的大棺材，即外棺，作用主要是保护里面的棺材。在当时，贵族的墓穴里才有椁，有的棺材外甚至有三四个椁，而一般的平民百姓则连一个椁都没有。在棺木外加椁以保护棺材的习俗一直保存了下来，达官贵人都会这么做。
孔子一向主张复古尊礼，尽管他痛失爱子，但是对儿子依然“有棺无椁”，这是圣人把握的原则。到了第二年，孔子的得意弟子颜回死了。因为他家里很穷，安葬的时候也只有棺。颜回的父亲颜路曾在孔子门下求学，颜路于心不忍，就劝孔圣人变卖他的马车给弟子颜回买椁。
孔子拒绝，他解释道：“材不材，各言其子也。鲤也死，有棺而无椁，吾不徒行以为之椁，”意思是说：颜渊和鲤是否成才，当父亲的各有自己的判断。但孔鲤死的时候，也是有棺无椁。我现在不能卖掉自己的车子步行而给颜渊买椁，因为我还跟士大夫们一起参与政事，是不可以步行的啊。
孔鲤自己一辈子没有什么建树，死后妻子很快改嫁了。孔子支持儿媳改嫁，因为他不忍心看着年轻的儿媳妇守寡终生。
从以上事情，可以看出孔子尊重女权，至于后世为年轻守寡而坚持到老的妇女立贞节牌坊，那是儒家思想异化发展的结果；同时可以看出孔子注重丧事从简，节哀有度，并不主张大操大办。晏子攻击儒家主张倾家荡产办丧事，对丧事极尽哀情，不过是夸大其词的诬陷攻击。
孔子的孙子叫孔汲，字子思，是孔子的高徒曾参的学生，是孔子思想的第三代传人，著有“四书”之一的《中庸》等著作，而且还培养了另外一个圣人----孟子，成就斐然。元帝封孔汲为“沂国述圣公”。
孔子、孔鲤及孔汲祖孙三代曾坐在一起，孔鲤对孔汲说：“你父不如我父。”对孔子说：“你子不如我子。”看来孔鲤是个幽默快活的人。