2004-2007: La reconstrucción

 

Tras el fracaso del año anterior los Lakers comenzaron su particular reconstrucción. Phil Jackson dejó el banquillo, siendo sustituido por Rudy Tomjanovich. Shaquille O'Neal se marchó rumbo a Miami a cambio de Lamar Odom, Brian Grant, Caron Butler y una futura elección de primera ronda del Draft.​ De igual modo, Rick Fox y Gary Payton fueron traspasados a los Boston Celtics por Chris Mihm, Marcus Banks y Chucky Atkins. Derek Fisher, descontento por la falta de minutos, firmó por Golden State,​ mientras que Karl Malone optó por retirarse.​
A pesar de que la temporada 2004-05 comenzó bien, la marcha de Tomjanovich por cuestiones de salud,​ y las continuas lesiones de Kobe y de Odom afectaron al equipo, que no logró clasificarse para los playoffs por quinta vez en su historia. El equipo salió derrotado en 19 de los últimos 21 encuentros de la fase regular, para un balance final de 34-48.​
La temporada 2005-06 estuvo marcada por el regreso de Phil Jackson al banquillo de los Lakers. El equipo fichó a Kwame Brown de Washington Wizards a cambio de Caron Butler y Chucky Atkins,​ y seleccionó en el draft a Andrew Bynum, procedente del instituto.​ El 22 de enero de 2006, Bryant entró en la historia de la NBA al anotar 81 puntos en la victoria ante Toronto Raptors. Fue la segunda máxima anotación en un partido, detrás de los 100 de Chamberlain en 1962.​
Los Lakers se clasificaron para los playoffs con un balance de 45-37, pero cayeron derrotados en primera ronda frente a Phoenix Suns a pesar de ir ganando la eliminatoria por 3-1. El MVP Steve Nash lideró a los Suns en la remontada.