В 16 лет оставил школу, работал с отцом на стройке, мойщиком окон. Игравший до этого в школьных группах, в 1975 году Уэллер вместе со своими друзьями Брюсом Фокстоном и Риком Баклером собрал собственный коллектив "The Jam". Основное влияние на группу оказала эстетика английских модов - молодежного течения середины-конца 60-х годов. Это сказалось не только на имидже, но и на музыкальном направлении в котором двигались "The Jam" - одетые, так как будто только что сошли с лондонской улицы 1965 года, на первых порах Уэллер и компания исполняли кавер-версии песен "The Kinks", "The Who" и "Small Faces". Со временем группа переключилась на собственный репертуар, практически полностью состоявший из песен Уэллера. Несмотря на свою несколько архаичную музыкальную ориентацию, "The Jam" звучали все же жестче и агрессивнее своих прототипов, что помогло им без труда влиться в волну панк-групп, в изобилии появившихся в 1976-1977 годах.