Лу Рид начал работать над записью альбома в 1972 году. Большая часть песен была написана специально для него, хотя некоторые, такие как «Caroline says (II)», «Sad Song» и «Oh, Jim», представляли собой старые переработанные песни Velvet Underground. Звучание альбома резко отличалось как от Velvet Underground, так и от прежних двух сольных альбомов Лу Рида. Песни были богато оркестрованы, на них накладывались звуки рожков, детские голоса, а манера исполнения напоминала отстраненный, меланхоличный речитатив человека, который рассказывает о прошлом. В записи принимало участие множество сессионных музыкантов, сам же Лу Рид играл только на акустической гитаре и пел.


Berlin представлял собой целостный концептуальный альбом (некоторые критики считают его рок-оперой). Все его песни рассказывали историю трагической любви, зародившейся в «небольшом кафе, в Берлине у Стены» между некими Джимом (от лица которого ведётся повествование) и Кэролайн -которая, по видимому, ресторанная певица. Но если первая, одноимённая песня альбома была светлой и лирической зарисовкой, то уже со второй и настроение, и звучание менялось, становясь всё более тревожным и депрессивным. Одна за другой песни рассказывали, когда прямо, когда намёками, о несбывшихся надеждах, непреодолимых социальных барьерах, отчуждении некогда любящих людей, бурных семейных ссорах с физическим насилием, попытках заглушить душевную боль беспорядочным сексом и наркотиками, нарастающем отчаянии. Трагическая история завершалась рассказом, как у Кэролайн «забрали детей», видимо лишив материнских прав, и наконец, в эпилоге лирический герой, полностью опустошённый душевно, приезжает в квартиру, где когда-то жил с Кэролайн, и вспоминает всё что они пережили вместе — вплоть до её самоубийства.