Циммер родился во Франкфурте-на-Майне. Он начал свою музыкальную карьеру с игры на клавишных и синтезаторах в группах Ultravox и The Buggles (сингл «Video Killed the Radio Star»). В 1980-х он работал вместе с кинокомпозитором Стенли Майерсом. Его первым крупным достижением считается 1988 год, когда написанная им главная музыкальная тема фильма «Человек дождя» была номинирована на премию Американской академии киноискусства «Оскар».

С этого момента Циммер начал писать музыку для высокобюджетных фильмов: «Миссия невыполнима 2», «Багровый прилив», «Скала», «Всепожирающая страсть», «Гладиатор», «Шофёр мисс Дэйзи», «Принц Египта», «Пёрл-Харбор», «Красная тонкая линия», «Падение чёрного ястреба», «Мадагаскар», «Мадагаскар 2», «Код да Винчи» и саундтреки «Пираты Карибского моря: Сундук Мертвеца», «Пираты Карибского моря: На краю света». В 1995 он был удостоен премии «Оскар» в номинации «Лучшая музыка» за музыку в мультфильме «Король Лев».