Некоторые отголоски нового направления уже слышны в предыдущем альбоме Уэйтса Heartattack and Vine (1980), но основной причиной глубоких перемен в творчестве певца и актера были значительные изменения в его личной жизни. В 1980 году он женился на Катлин Бреннан, коллеге по музыкальному цеху, которая стала его музой и соавтором многих последующих песен, хотя официально в авторских титрах и не значится.

В 1998 году Уэйтс рассказал как это было: "Мы познакомились на одной новогодней вечеринке в Голливуде. На следующий день я уезжал в Нью-Йорк и больше не собирался когда-либо возвращаться в Лос-Анджелес. По крайней мере, так я думал тогда. Так вот, мы встретились под Новый год, и я уехал на несколько месяцев, а потом меня позвал Коппола работать в фильме One from the Heart/От всего сердца (1982). Я вернулся, мне выделили небольшой офис с роялем, где я сидел и писал песни. А в соседнем помещении была Катлин. Она работала скрипт-аналитиком, то есть обрабатывала сценарий этого фильма. Кто-то попросил ее что-то передать мне, она постучала в дверь, я открыл - на пороге стояла она, тут-то все и произошло. Любовь с первого взгляда. Любовь со второго взгляда."
Том Уэйтс со своей женой Катлин БреннанЧерез два месяца они поженились, причем церемония совершилась в 2 часа ночи в знаменитой лос-анджелесской церкви "Навеки вместе", которая специализируется на брачных службах и проводит их круглосуточно. Попав в дом Тома, Катлин была несколько разочарована его виниловой коллекцией. Она вырвала Уэйтса из привычной джазовой упаковки и заставила смотреть иностранные фильмы (что американцы делают весьма и весьма редко - и очень немногие), познакомила с немецким театром, азиатской перкуссией, французским кабарэ... Музыкальные вкусы Катлин Бреннан, не ограничивавшиеся рок и поп музыкой, существенно повлияли на дальнейший ход творчества Уэйтса. Прежде всего, Катлин открыла для Тома творчество Капитана Бифхарта. Несмотря на то, что у Уэйтса с Бифхартом в семидесятых был один и тот же менеджер, Уэйтс как ни странно никогда толком не слушал музыки Дона Ван Влита. "Я узнал его лучше только после женитьбы," - признался Уэйтс. Нестандартный подход к музыке Капитана Бифхарта определенно повлиял на новые музыкальные решения Уэйтса в Swordfishtrombones. Кстати , Swordfishtrombones - сложный словонаворот, изобретенный Уэйтсом, в котором swordfish - это "рыба-меч", а trombones - "тромбоны" (имеется в виду духовой музыкальный инструмент). Каламбур заключается в том, что bones (если без trom) означает "кости". Кости, то есть "Тромбкости рыбы-меча". Больше никаких объяснений тут нет и не требуется. Это слово упоминается один раз в одноименной песне, когда герой песни, вернувшись с войны, "стал ходить с девушкой из Оркестра Армии Спасения, которая играла грязную воду на какой-то тромбкости рыбы-меча".