接下来的2003-04赛季，湖人队获得了全明星球员卡尔·马龙（Karl Malone）和加里·佩顿（Gary Payton），再次冲击总冠军。在赛季开始前，科比因为性侵犯指控被捕。这导致了科比因为出庭缺席了一些比赛；或是某天的早些时候出庭，在同一天的晚些时候赶去参加比赛。在常规赛的最后一场比赛，湖人队对阵开拓者队。科比用两次绝杀带领湖人取胜，并赢得了太平洋赛区的冠军。在第四节的最后时刻，科比投中三分球扳平比分，将比赛拖入加时赛。比赛最后进入了第二个加时，科比又投中压哨三分帮助湖人105-104获得了胜利。
拥有四名未来篮球名人堂球员，奥尼尔、马龙、佩顿和布莱恩特，湖人队最终杀入NBA总决赛。在总决赛中，湖人队被底特律活塞队在5场比赛中击败，后者自1990年第一次获得总冠军。总决赛系列赛中，科比场均贡献22.6分，还有4.4次助攻，命中率只有可怜的35.1%。菲尔·杰克逊没有与湖人队续签合同，接替他教练职务的是鲁迪·汤姆贾诺维奇（Rudy Tomjanovich）。奥尼尔被交易至迈阿密热火队，换来了拉玛尔·奥多姆、卡隆·巴特勒（Caron Butler）、布莱恩·格兰特（Brian Grant ）。第二天，科比拒绝了洛杉矶快船队提供的合约，与湖人队续签了一份长达7年价值1亿3640万美元的合同。
失望季后赛（2004-2007）2004-05赛季，由于上赛季中发生的事情极大地损坏了科比的声誉，也使他饱受争议和批评。菲尔·杰克逊出版了新书《最后的赛季》（The Last Season: A Team in Search of Its Soul），在书中详细记述了2003-04赛季湖人的动荡，也同时批评了科比，说他“不可调教（uncoachable）”。在赛季中期，鲁迪·汤姆贾诺维奇突然辞去了主教练的职务，理由是健康问题。汤姆贾诺维奇离开之后，湖人助教弗兰克·汉伯伦（Frank Hamblen）执掌球队完成了赛季剩余的比赛。尽管科比在这个赛季以场均27.6分排在联盟得分榜的第二位，但是湖人队却打得很挣扎，并且球队自1993-94赛季以来第一次未能进入季后赛。这个赛季后的奖项评选中，由于湖人整体实力的下滑，科比没能进入最佳防守阵容，最佳阵容也仅仅是入选第三阵容而已。这个赛季中，科比还公开了和雷·阿伦以及卡尔·马龙之间的矛盾。2005-06赛季是科比篮球生涯的转折点。尽管之前与科比有分歧，菲尔·杰克逊还是选择重回湖人执教。科比对此举动表示赞同，各种表现证明，这二位的第二次合作还不错，带领湖人队重新回到了季后赛。科比的个人得分数据也是其职业生涯中最好的一个赛季。在2005年12月20日湖人vs达拉斯小牛队的比赛中，科比在前三节比赛中独得62分（第四节未出场），在他下场时个人得分62分竟比小牛全队61分的得分还高，科比是自24秒计时器引入以来的第一位做到此的球员。 2006年1月16日，湖人队面对热火队，科比与奥尼尔在赛前的握手和拥抱成为了当日的头条，标志着这两名球员之间的矛盾逐渐发生改变。一个月之后的2006年NBA全明星赛上，这两个人被看到在一起说笑。 2006年1月22日，在对阵多伦多猛龙队的比赛中科比得到了职业生涯新高的81分。除了打破之前由埃尔金·贝勒（Elgin Baylor）创造的71分的纪录，科比单场81分还是NBA历史上单场第二高分，仅次于威尔特·张伯伦于1962年创造的单场100分纪录。在同一个月内，科比还成为了自1964年以来第一位连续4场比赛得到45分或更多得分的球员，成为继张伯伦与贝勒后第三位可以做到此的球员。整个1月份，科比场均可以得到43.4分，[83]排在NBA历史单月场均得分第8位，以及除张伯伦外个人单月场均得分第一位。2005-06赛季结束时，科比创造了湖人队史单赛季取得40+场次最多的纪录（27）以及最多得分的纪录（2832）。[31]科比凭借场均35.4的得分第一次获得了联盟得分王的头衔。在2006年NBA最有价值球员奖评选中排名第四，但他获得了22张第一名的选票--仅次于最后的胜者史蒂夫·纳什（Steve Nash）。湖人队打出了45胜37负的常规赛战绩，比前一个赛季多赢了11场。
该赛季的晚些时候，有报道称科比将从2006-07赛季开始改变自己的球衣号码，从8号改为24号。他在高中的第一件球衣就是24号，之后改穿33号。科比在TNT电台采访时说，他曾打算在新秀赛季选择24号，但是无法实现，而33号球衣已经随同卡里姆·阿布杜尔-贾巴尔退役了。科比曾在Adidas ABCD训练营身穿143号，所以最后选择了三个数字之和8作为自己的号码。在季后赛第一轮，湖人队做得足够出色，他们在系列赛中以3-1领先菲尼克斯太阳队，其中第4场比赛凭借科比投入的两记关键球击败了对手。在第6场比赛中，他们仅差6秒就可以将二号种子太阳队淘汰出局，但是最终还是在加时赛中以118-126输掉了比赛。尽管科比在系列赛中场均可以得到27.9分，但是湖人最终在7场大战中输给了太阳。[88]在第7场90-121负于太阳的比赛中，科比因为在下半场仅有3次出手而受到指责。在2006年的休赛期，科比进行了膝盖手术，使得他无法参加2006年世界男子篮球锦标赛。他自己曾说：“24号的意义就是24小时，我希望把自己的所有精力都投入到篮球当中，这就是我选择24号的原因。如果不能全身心认真投入，我就不是科比。24是我的最佳诠释。”
2006-07赛季，科比第九次入选全明星赛首发阵容，在2月18日，科比拿到31分，6次助攻、6次抢断，职业生涯第二次获得NBA全明星赛最有价值球员奖。整个赛季，科比卷入了一系列的球场事故之中。1月28日，科比在投出一记可能制胜的跳投后，手肘打在了马刺队后卫马努·吉诺比利（Manu Ginobili）的面部。经过联盟的重新审查，科比被禁止参加随后在麦迪逊广场花园与纽约尼克斯队的比赛。这次禁赛的依据则是科比向后挥动手臂是“一个反常的动作”。之后，在3月6日，他好像又重复了这样的动作，而这一次打到了明尼苏达森林狼队后卫马科·贾里奇（Marko Jaric）。 3月7日，NBA给科比开出了第二次禁赛一场的罚单。 3月9日，在他回归的第一场比赛中，他又肘击到凯尔·科沃尔（Kyle Korver）的面部，赛后该行为被追加为一级恶意犯规。