Joe Cocker nació el 20 de mayo de 1944 en Crookes, Sheffield, West Riding de Yorkshire, hijo menor de Harold y Madge Cocker. Su apodo de "Joe" proviene de un juego infantil llamado "Cowboy Joe" o de un limpiacristales local con ese nombre. Desde joven, mostró interés por la música, influenciado principalmente por Ray Charles y Lonnie Donegan. A los 12 años, cantó por primera vez en público durante una actuación de skiffle de su hermano mayor, Victor. En 1960, formó su primer grupo, los Cavaliers, junto a tres amigos. Aunque el grupo se disolvió al año siguiente, Cocker continuó su pasión musical mientras trabajaba como aprendiz de fontanero tras dejar la escuela.
En 1961, adoptó el nombre artístico de Vance Arnold y formó Vance Arnold and the Avengers, actuando en pubs de Sheffield con versiones de Chuck Berry y Ray Charles. En 1963, abrieron un concierto para los Rolling Stones en el Ayuntamiento de Sheffield, una de sus primeras actuaciones importantes. En 1964, firmó con Decca como solista y lanzó su primer sencillo, una versión de "I'll Cry Instead" de los Beatles, con guitarras de Big Jim Sullivan y Jimmy Page. A pesar de la promoción de la discográfica, el sencillo no tuvo éxito y su contrato expiró. Tras este fracaso, abandonó el nombre de Vance Arnold y formó Joe Cocker's Big Blues, grupo del que solo se conserva una grabación en un EP de la Semana del Trapo en Sheffield.

En 1966, tras un año alejado de los escenarios, Cocker se unió a Chris Stainton para formar The Grease Band, cuyo nombre surgió de una frase de Jimmy Smith sobre un músico con "mucha grasa". El grupo actuaba principalmente en pubs de Sheffield. Su talento llamó la atención de Denny Cordell, productor de artistas como Procol Harum y The Moody Blues. Cocker grabó el sencillo "Marjorine" en Londres sin la banda, tras lo cual se mudó a la capital con Stainton y formó una nueva versión de The Grease Band con músicos como Tommy Eyre.
"Marjorine" tuvo un éxito moderado en Estados Unidos, pero el verdadero impulso llegó con su versión de "With a Little Help from My Friends", original de los Beatles. La grabación contó con Jimmy Page en guitarra, BJ Wilson en batería y coros de Sue y Sunny, destacando por su intensidad emocional y estilo soul-blues. El sencillo alcanzó el número uno en el Reino Unido en noviembre de 1968 y el puesto 68 en Estados Unidos. El álbum homónimo, lanzado en 1969, llegó al número 35 en las listas estadounidenses y se convirtió en disco de oro.

La nueva formación de The Grease Band incluía a Henry McCullough en guitarra. Tras giras por el Reino Unido con The Who, Gene Pitney y Marmalade, emprendieron su primera gira estadounidense en 1969, actuando en festivales como el Newport Rock Festival y el Denver Pop Festival. Fueron incluidos en el Festival de Woodstock tras una recomendación de Cordell. Llegaron en helicóptero debido a las masivas multitudes y ofrecieron una actuación memorable con canciones como "Delta Lady", "Let's Go Get Stoned" e "I Shall Be Released", culminando con su emblemático "With a Little Help from My Friends". Cocker describió la experiencia como algo único y transformador.

Tras Woodstock, lanzó su segundo álbum, Joe Cocker!, que incluyó versiones de "She Came in Through the Bathroom Window" y "Something", con permiso de Paul McCartney y George Harrison. El álbum alcanzó el número 11 en Estados Unidos y tuvo éxito con "Delta Lady", compuesta por Leon Russell.
A pesar de su reticencia a girar, Cocker organizó una extensa gira por Estados Unidos en 1970, formando una gran banda de más de 30 músicos. Bautizada como "Mad Dogs and Englishmen" por Denny Cordell, la banda incluía a Leon Russell como pianista y director musical, tres bateristas y coristas como Rita Coolidge y Claudia Lennear. La gira, descrita como una "fiesta salvaje", lo llevó a 48 ciudades, con actuaciones aclamadas por revistas como Time y Life. El álbum en vivo Mad Dogs and Englishmen capturó la energía del tour.
Durante la gira, Cocker enfrentó desafíos personales: problemas con Russell, depresión y abuso de alcohol. A pesar de ello, tuvo éxitos en las listas con versiones de "Cry Me a River", "Feelin' Alright" y "The Letter", esta última convirtiéndose en su primer Top Ten en Estados Unidos. Tras meses en Los Ángeles, regresó a Sheffield, donde su familia notó su deterioro físico y emocional.
En 1971, el sencillo "High Time We Went" alcanzó el número 22 en la Billboard Hot 100, aunque no se incluyó en un álbum hasta 1972.

En 1972, tras casi dos años de inactividad, Cocker retomó la música con una banda formada por Chris Stainton, debutando con un concierto en el Madison Square Garden ante 20.000 personas. Realizó giras por Estados Unidos, Europa y nuevamente por Estados Unidos en otoño de ese año. Durante estas fechas, grabó material para su álbum Joe Cocker, que combinaba temas en vivo y estudio, alcanzando el puesto 30 en Estados Unidos.
En octubre de 1972, durante una gira por Australia, fue arrestado en Adelaida por posesión de marihuana. Al día siguiente, enfrentó cargos por agresión tras una pelea en Melbourne, y fue expulsado del país en 48 horas. Este incidente generó una gran polémica en Australia, convirtiéndolo en un símbolo de la lucha por la legalización de la marihuana y ganando el apodo de "el Perro Loco".
Tras la gira, Stainton abandonó la música y Cordell se distanció, lo que sumió a Cocker en una depresión que lo llevó al consumo de heroína. Dejó la droga en 1973, pero continuó con el alcoholismo.
En 1974, lanzó I Can Stand a Little Rain, que alcanzó el número 11 en Estados Unidos. Su versión de "You Are So Beautiful" llegó al número 5. Aunque el álbum fue bien recibido, sus actuaciones en vivo se vieron afectadas por su consumo, como se evidenció en episodios en los que vomitó sobre el escenario en 1974.

En 1975, lanzó Jamaica Say You Will, grabado simultáneamente con el anterior. Promocionó el álbum con una gira por Australia, ahora posible tras el cambio de gobierno. También participó en el álbum de Bo Diddley y grabó Stingray en Kingston, Jamaica. Sin embargo, las ventas fueron bajas, y el álbum solo alcanzó el puesto 70 en Estados Unidos.

En 1976, interpretó "Feelin' Alright" en Saturday Night Live, donde John Belushi lo imitó en su famosa parodia. En ese momento, Cocker debía 800.000 dólares a A&M Records y luchaba contra el alcoholismo. Conoció al productor Michael Lang, quien lo representó bajo la condición de mantenerse sobrio. Con una nueva banda, realizó giras por Nueva Zelanda, Australia y Sudamérica, y grabó Luxury You Can Afford, lanzado en 1978. A pesar de su esfuerzo, el álbum recibió críticas mixtas y vendió solo 300.000 copias.
En 1979, participó en la gira "Woodstock in Europe" junto a Arlo Guthrie y Richie Havens. Actuó en Central Park ante 20.000 personas, concierto que se lanzó como Live in New York. También giró por Europa y actuó en el programa alemán Rockpalast, inicio de varias apariciones en el programa.
En 1982, colaboró con The Crusaders en el álbum Standing Tall, interpretando "I'm So Glad I'm Standing Here Today", nominada a un Grammy. Ese mismo año, grabó el dúo "Up Where We Belong" con Jennifer Warnes para la banda sonora de An Officer and a Gentleman. La canción alcanzó el número uno en Estados Unidos, ganó un Grammy y el Óscar a Mejor Canción Original. Cocker y Warnes la interpretaron en la ceremonia de los Oscar.
Poco después, cantó "You Are So Beautiful" con Ray Charles en un homenaje televisivo. En 1983, participó en la gira benéfica de Ronnie Lane para recaudar fondos contra la esclerosis múltiple, junto a figuras como Pete Townshend, Eric Clapton y Jimmy Page.

Durante una gira en Austria, fue arrestado por negarse a actuar por problemas técnicos, aunque los cargos fueron retirados. Lanzó su noveno álbum, Civilized Man, seguido de Cocker, dedicado a su madre fallecida durante las sesiones. La canción "You Can Leave Your Hat On", incluida en la película 9½ Weeks (1986), ayudó a que el álbum alcanzara el estatus de Platino en Europa. Su álbum Unchain My Heart (1987) fue nominado a un Grammy, y One Night of Sin superó sus ventas.

Durante los años 80, Cocker siguió girando por Europa, Australia y Estados Unidos. En 1988, actuó en el Royal Albert Hall y en The Tonight Show. Fue pionero en dar conciertos de rock en la República Democrática Alemana, en Berlín Oriental y Dresde, lugares que hoy recuerdan su paso con el nombre "Cockerwiese". En 1989, actuó en el concierto de inauguración del presidente George Bush.
En 1992, su versión de "Feels Like Forever" de Bryan Adams entró en el Top 40 del Reino Unido. En 1993, fue nominado a Mejor Artista Masculino Británico en los Brit Awards. Regresó a Woodstock en 1994 como uno de los pocos artistas originales, recibiendo una ovación entusiasta.
En 2002, interpretó "With A Little Help From My Friends" junto a Phil Collins y Brian May en el concierto del Jubileo de Oro de la Reina Isabel II en el Palacio de Buckingham. En 2007, apareció en la película Across the Universe, interpretando "Come Together". Ese mismo año, fue condecorado con la Orden del Imperio Británico (OBE) por sus servicios a la música, celebrando el honor con conciertos en Londres y Sheffield.
En 2009, realizó una gira por América del Norte para promocionar Hymn for My Soul. En 2010, participió en el álbum de Carlos Santana Guitar Heaven con "Little Wing", y realizó una gira europea por Hard Knocks. Regresó a Australia en 2008 y 2011, esta última con George Thorogood and the Destroyers como teloneros. En marzo de 2011, participó en un concierto benéfico para Cornell Dupree, músico que lo acompañó en varias grabaciones y giras.
En septiembre de 2014, Billy Joel mencionó en un concierto en el Madison Square Garden que Cocker no se encontraba bien, pidiendo su ingreso al Salón de la Fama del Rock and Roll.
Joe Cocker murió de cáncer de pulmón el 22 de diciembre de 2014 en Crawford, Colorado, a los 70 años. Había fumado dos paquetes diarios hasta que dejó el hábito en 1991. Su legado como uno de los grandes intérpretes del soul, el blues y el rock sigue vigente, reconocido por su voz rasgada, su intensidad escénica y su capacidad para transformar canciones ajenas en obras profundamente personales.