Filho de pais músicos, Don Byas começou por aprender violino, clarinete e depois saxofone alto. No final dos anos 20, começou a tocar saxofone em pequenas bandas e depois formou o seu próprio grupo. Quando partiu para a Califórnia, no início dos anos 30, optou finalmente pelo saxofone tenor. Foi inicialmente contratado por Lionel Hampton e Buck Clayton. Don Byas partiu então para Nova Iorque com a orquestra que acompanhava a cantora Ethel Waters. Tocou com várias das principais bandas do grande período do swing antes de suceder a Lester Young na orquestra de Count Basie durante três anos a partir de 1941. Nos primeiros tempos do bebop, Don Byas partilhou o palco com outros jovens rebeldes como Max Roach, Dizzy Gillespie e Oscar Pettiford. Quando Coleman Hawkins e Dizzy Gillespie realizaram as primeiras sessões de gravação desta nova música, Don Byas foi convidado a participar. A partir da segunda metade dos anos 40, gravou extensivamente para várias companhias discográficas. Partiu para a Europa em 1946 com a orquestra de Don Redman, que organizou uma das primeiras digressões de jazz no Velho Continente - para além das anteriores orquestras do exército americano. A Europa tornou-se a sua nova casa e actuou durante algum tempo em Paris antes de se estabelecer definitivamente nos Países Baixos. Isto não o impediu de ser chamado várias vezes aos Estados Unidos por líderes americanos como Duke Ellington, Quincy Jones e Art Blakey.