Sorprendió por su particular voz. Jimmy Scott, conocido por su apodo Little, sufrió una extraña enfermedad hereditaria llamada síndrome de Kallman que le detuvo su crecimiento y le mantuvo su voz de niño.
Comenzó a cantar profesionalmente en los años cuarenta. En 1948, se unió a la orquesta de Lionel Hampton e hizo su primera grabación con él para la compañía Decca en enero de 1950. Una de las canciones de esas sesiones, "Everybody's Somebody's Fool", es muy recordada. Scott dejó a Hampton en 1951 e inició carrera como solista.
Grabó varios discos pero ninguno contó con un gran éxito comercial. Por unos años se mantuvo alejado de la música realizando otro tipo de trabajos. Volvió a cantar en clubes y bares en 1985.
En junio de 1991, Scott apareció en la banda de sonido en un episodio de la serie Twin Peaks y en películas como “Scotch and Milk” (1998) y “Chelsea Walls” (2001). En 1992 participó en el disco Magic and Loss de Lou Reed.
En su acercamiento al pop y el rock, Little Jimmy Scott grabó en 1998, Holding Back The Years, con versions de clásicos como "Jealous Guy" (John Lennon), "Nothing Compares 2 You” (Prince), "Almost Blue" (Elvis Costello) y "Sorry Seems To Be The Hardest Word" (Elton John & Bernie Taupin).
