公元前497年，孔子辞去大司寇的职务，离开鲁国。在孔子的从政生涯中，鲁国大司寇是他一生中担任的最重要职务，也是他距离实现自己的政治目标最近的一次。
大司寇兼摄相事，算下来是鲁国的第五把手，副国级待遇，孔子为什么说辞就辞了呢？
因为孔子干不下去了。
孔子用尽自己的智慧，在鲁国政治圈摸爬滚打了五年，到最后一看，还是没能跳出如来佛的魔掌，季桓子还是牢牢地控制着鲁国的政权。
孔子在夹谷会上据理力争，收复了叛臣阳虎私自割让给齐国的汶阳之田。但汶阳之田却收进了季桓子的囊中，因为这个地方本是季孙氏的私邑。只不过收复汶阳之田使季氏增加了对孔子的好感。
趁着季桓子信任自己，孔子向季桓子提出拆毁家臣盘据的三都城墙，摆脱家臣叛乱的困境。在季桓子带节奏的支持下，郈邑拆毁了，回到了叔孙氏手中；费邑拆毁了，回到了季孙氏手中。郕邑坚守不下，孟孙氏也保存了实力。
对“三桓”来说，这似乎是最好的结果。对孔子来说，离自己的目标差了十万八千里，他本来想借堕三都限制三桓势力，没想到却使三桓势力都有增强。
更让孔子伤心的是，这时门下出了一个叛徒。孔子的弟子公伯寮进言季桓子：“堕三都乃孔子策划，子路实施，意在限制三家势力的行动，您可要小心了。”子路当时还在担任季桓子家宰，这就把子路推到危险的境地。
得到公伯寮告密的消息，孔子的另一位弟子子服景伯紧急向孔子汇报：“季桓子已经被公伯寮说动了，子路危险啊！要保住子路的位子，实现您的堕三都计划，就必须惩治这个‘犹大'。让我去除掉公伯寮这个叛徒吧。”
孔子此时心灰意冷，淡淡地回复子服景伯：“没用了，事之成败，不取决于公伯寮，而取决于命。”
怪力乱神，子所不语。孔子当然不会把自己失败的原因归结于冥冥之中的命，他说的“命”并非天意，而是看清了鲁国的政治大势：夹谷会盟，孔子左冲右突据理力争，为鲁国收复了汶阳之田，结果不过是帮季孙氏夺回了阳虎窃取的家产；拆毁费邑城墙，平定公山不狃的叛乱，又让季孙氏重新成为了费邑之主。
孔子的初衷本是为国家利益服务，使鲁国再次强大，重振公室，削弱“三桓”，可结果却使得季桓子一步步地恢复了权力，眼看着他势力更加强大，更难撼动。
事情到了这个地步，季桓子虽然不再信任孔子，但还没有撕破脸皮。如果在这时除掉公伯寮，那孔子和季桓子就会变成亦裸裸地做对，以季桓子的权力和势力，孔子不但地位不保，甚至会有生命危险。前有阳虎和公山不狃之鉴，怎能去冒这个险呢？
孔子已经看清了失败的形势，明智之人，胜利时考虑如何乘胜前进，失败时考虑如何止损，他阻止了子服景伯惩治公伯寮。此时他考虑的不再是“堕三都”计划的继续，因为这已不可能，而是什么时候以什么形式辞去大司寇的职务，体面地离开鲁国。
这时，齐国采取行动了，针对鲁国的国内形势，齐国给鲁国送来了80名女乐和120匹文马，这可是一个大礼。鲁国君臣不久便沉溺于女乐之中，但只有季桓子和孔子看清齐国背后的目的。
一个团结而统一的鲁国不符合齐国的利益，这时候齐国给鲁国送来女乐加以搅局，文马不过是女乐的掩饰。
孔子上任以来的行动以及产生的结果，使齐国感到了威胁。公元前501年阳虎叛乱失败，逃往了齐国；公元前500年，侯犯在郈邑武力反抗堕城，失败后也逃往了齐国；公元前499年，公山不狃、叔孙辄起兵反对堕费，一度攻入国都，失败后又是逃往齐国！
齐国支持鲁国“三桓”的家臣叛乱，成为齐景公制约鲁国的一张王牌。随着孔子“堕三都”行动的推进，家臣叛乱被一个接一个铲除，使齐国逐渐失去了干预鲁国内政的棋子，齐国又怎能不着急上火呢？
为此，齐国必须要想办法离间孔子与鲁国君臣之间的关系。
春秋时期，诸侯之间馈赠女乐早已有之。公元前514年，梗阳人为了打赢官司，以女乐馈赠晋国首辅魏献子。公元前562年，晋国为了迫使郑国叛楚附晋，率领宋、鲁、卫、齐等十国联军伐郑。楚国拒绝援郑，还扣押了郑国派往楚国告急的使者，无奈的郑简公只得向晋国屈服，以“女乐二八”献于晋侯，以示通好于晋。
此时齐国向鲁国赠送女乐，目的明显是向季桓子示好，阻止孔子继续向叛臣施压。这就看季桓子态度如何了。
季桓子对与齐国的关系和对与孔子的关系作了一番分析：此时季桓子已经在孔子帮助下镇压了费邑叛乱，夺回了费邑控制权，利用孔子的目的已经达到。如果继续放任孔子施行新政，孔子在骨子里是扶强公室，限制私权，肯定会危及自己的地位。现在齐景公主动示好，馈送女乐，如果与齐国的关系转暖，不再支持流亡的反叛势力，最大的外部威胁也将解除。为此，驱除孔子，和好齐国，正是时机！
一切均在季桓子掌握之中。受赠女乐之后，三日不上朝听政，季桓子可以高枕无忧地纵情玩乐一番了。对内稳操胜券，对外齐国又送来了支持，在季桓子下的这盘大棋上，他已经积聚起了不可撼动的优势。此时与孔子的合作已不再必要，而且该是早日结束的时候了！
如此，孔子成为了一枚弃卒，被季桓子果断地从棋盘上撤了下去。
孔子同样是果断地要离开鲁国了，与季桓子的合作已不可能持续，恰好又有卿大夫们迷恋女乐作为很现实的借口。
离开鲁城的当天，孔子和弟子在城南一个叫屯的地方住宿。一向赞同孔子的大夫师己前来送行，说：“夫子您可没有什么罪过啊，何必非要离开鲁国呢？”
孔子说：“让我唱个歌，可以吗？”师己点头，望着孔子。房间里鸦雀无声。
铿锵又略显苍老的歌声撞破沉寂，在房间里回荡：“偏听妇人的话，就会失去亲信；过于接近妇女，就会败事亡身。既然如此就该离开，优游自在地安度岁月。”
师己明白了孔子所指，不再多言。返回国都，季桓子问他：“孔子离开前说了些什么？”师己不想为孔子隐瞒什么，便据实相告。
季桓子颇显惋惜地感叹道：“孔夫子是为了女乐的事怪罪我呀！”
孔子离开了，鲁国又回到从前。