История возникновения Ротенбурга-на-Таубере восходит к 970 году, когда семья восточно-франкских дворян строит в долине реки Таубер первую церковь. В конце 11 века здесь был построен замок, а в начале 12 — монастырь.

В 1142 году эти земли приобретает король Конрад III, который решает возвести над отрогами реки Таубер замок, который позже назовут императорским. В 1274 Ротенбург получает привилегии имперского города. В 14-15 веках происходит наибольший расцвет города. В это время в Ротенбурге проживает около 6 000 жителей, что превосходило на тот момент население Мюнхена и Франкфурта-на-Майне.

Имперским городом Ротенбург-на-Таубере оставался до 18 века. В 16-17 веках развитие города было подорвано эпидемиями чумы и Тридцатилетней войной. Ротенбург несколько раз был взят и разграблен. В начале 19 века он потерял статус имперского города и был включен в королевство Бавария.

Во время Второй мировой войны город сильно пострадал от авиаударов. Было разрушено 45% старого города.

Замковые ворота (Burgtor) — одни из главных городских ворот с высокой мощной башней, которые защищали город с запада. В настоящее время являются входом в замковый сад — интересный зелёный уголок в средневековом городе. В бытность Ротенбурга имперским городом ворота были ночью закрыты. Чтобы покинуть город нужно было получить одобрение городского совета.