Джон Колтрейн родился в музыкальной семье, однако его родители не зарабатывали на жизнь музыкой. С 13 лет Джон начал играть в оркестрах. Вначале его инструментами были кларнет и альтгорн, затем альт-саксофон. Колтрейн играл в разных ночных клубах Филадельфии, но в 1945 году его призвали в армию и отправили служить на Гавайи. В 1946 году Колтрейн уволился в запас и вернулся в Филадельфию. Осенью того же года Джон начал играть в оркестре Джо Уэбба, а в 1947 году перешёл в «King Kolax Band». Там же Колтрейн впервые попробовал взять в руки тенор-саксофон, ставший впоследствии его основным инструментом. Одни источники утверждают, что это произошло под влиянием игры Чарли Паркера, который, как тогда считалось, исчерпал возможности альт-саксофона, другие источники дают простой факт, что переключиться на тенор Колтрейна вынудил руководитель его бэнда, сам играющий на альте.

В 1949 году Джон присоединился к настоящему звездному составу — биг-бэнду Диззи Гиллеспи и оставался в нём до весны 1951 года, когда оркестр превратился в септет. Вместе с ним, в 1951 году, Колтрейн записал на пластинку свое первое соло в пьесе «We Love To Boogie». Подобно многим джазменам того времени, он постепенно стал наркоманом, что затрудняло поиски работы и служило причиной конфликтов. Он переходил из состава в состав, но в 1954 году ему повезло — его пригласил в свой бэнд Джонни Ходжес. У него Колтрейн продержался меньше года, а затем судьба свела его с Майлзом Дэвисом. Их классический состав включал в себя Дэвиса, Колтрейна, пианиста Реда Гарленда, басиста Пола Чамберса и ударника Филли Джо Джонса. С этим квинтетом Колтрейн сделал множество записей на лейблах Columbia и Prestige. Впоследствии, когда он стал очень известным, его сайдменские записи стали издаваться под его именем и этот процесс продолжается до сих пор. Из-за пристрастия к героину Дэвис несколько раз увольнял Колтрейна из своей группы, но потом опять приглашал обратно. Окончательно они расстались в 1957 году, что послужило для саксофониста толчком к тому, чтобы больше выступать и записываться самостоятельно.