Джон Колтрейн родился в музыкальной семье, однако его родители не зарабатывали на жизнь музыкой. С 13 лет Джон начал играть в оркестрах. Вначале его инструментами были кларнет и альтгорн, затем альт-саксофон. Колтрейн играл в разных ночных клубах Филадельфии, но в 1945 году его призвали в армию и отправили служить на Гавайи. В 1946 году Колтрейн уволился в запас и вернулся в Филадельфию. Осенью того же года Джон начал играть в оркестре Джо Уэбба, а в 1947 году перешёл в «King Kolax Band». Там же Колтрейн впервые попробовал взять в руки тенор-саксофон, ставший впоследствии его основным инструментом. Одни источники утверждают, что это произошло под влиянием игры Чарли Паркера, который, как тогда считалось, исчерпал возможности альт-саксофона, другие источники дают простой факт, что переключиться на тенор Колтрейна вынудил руководитель его бэнда, сам играющий на альте.

В 1949 году Джон присоединился к настоящему звёздному составу — биг-бэнду Диззи Гиллеспи и оставался в нём до весны 1951 года, когда оркестр превратился в септет. Вместе с ним, в 1951 году, Колтрейн записал на пластинку свое первое соло в пьесе «We Love To Boogie». Подобно многим джазменам того времени, он постепенно стал наркоманом, что затрудняло поиски работы и служило причиной конфликтов. Он переходил из состава в состав, но в 1954 году ему повезло — его пригласил в свой бэнд Джонни Ходжес. У него Колтрейн продержался меньше года, а затем судьба свела его с Майлзом Дэвисом. Их классический состав включал в себя Дэвиса, Колтрейна, пианиста Реда Гарленда, басиста Пола Чамберса и ударника Филли Джо Джонса. С этим квинтетом Колтрейн сделал множество записей на лейблах Columbia и Prestige. Впоследствии, когда он стал очень известным, его сайдменские записи стали издаваться под его именем, и этот процесс продолжается до сих пор. Из-за пристрастия к героину Дэвис несколько раз увольнял Колтрейна из своей группы, но потом опять приглашал обратно. Окончательно они расстались в 1957 году, что послужило для саксофониста толчком к тому, чтобы больше выступать и записываться самостоятельно.

В этом же 1957 году он издал на лейбле Prestige свой первый сольный альбом, названный «Coltrane», в составе с трубачом Джонни Сплоуном, баритон-саксофонистом Сахибом Шихабом, пианистами Малом Уолдруном и Редом Гарлендом, басистом Полом Чамберсом и барабанщиком Элом Хитом. Тогда же, 1957 году, Колтрейн присоединился к квартету Телониуса Монка, а также продолжал работу над собственными альбомами. Он избавился от пристрастия к наркотикам и вновь начал сотрудничать с Майлсом Дэвисом, вместе с которым записал в 1959 году один из лучших в истории джазовых альбомов «Kind Of Blue». В начале 60-х годов вышел первый альбом Колтрейна, состоящий целиком из его собственных композиций — «Giant Steps». Он окончательно отказывается от работы в других составах и собирает свое комбо в Нью-Йорке, состоящее из пианиста Стива Кюна (которого скоро заменил МакКой Тайнер), басиста Стива Дэвиса и ударника Пита Ла Рока (которого последовательно сменяли Билли Хиггинс и Элвин Джонс). Весь свой последний период творчества Колтрейн играл, кроме тенора, на сопрано-саксофоне.

В 1962 году он подписал договор с лейблом Impulse! Работая с продюсером Бобом Тиле, Колтрейн записал в студии огромное количество материала, которое фирма не была в состоянии издать сразу, но зато постепенно издавала после смерти музыканта. Он развивал свой собственный, почти религиозный, подход к джазу и самым знаменитым альбомом этого направления стала пластинка «A love Supreme» (1964), получившая две номинации на Грэмми и ставшая самой продаваемой его работой.

Последний прижизненный альбом Колтрейна, «Expressions», вышел в 1967 году совсем незадолго до его смерти от рака печени. На похоронах великого музыканта играли Орнетт Коулман и Альберт Айлер.

Несмотря на относительно короткую карьеру (он стал известен широкой публике только в возрасте 33 лет, а умер, не дожив до 41 года), Джон Колтрейн до сих пор является одной из самых известных и противоречивых фигур джазового мира. Он играл в разных, чуть ли не противоположных стилях, и это служило причиной столь же противоположных отзывов критиков о его музыке. Однако уже давно никто не подвергает сомнению грандиозный вклад Колтрейна в современный джаз и влияние на творчество подавляющего большинства саксофонистов второй половины XX века.