Unwillkürlich fragt man sich was wohl zuerst erbaut wurde, das Haus oder die Brücke? Nun, das Haus wurde zuerst erbaut, erst später das Viadukt.

Ab dem Jahr 1874 wurde das Viadukt errichtet, das "Haus am Viadukt" ist älter, frühe Darstellungen von Rottweil zeigen es bereits.

Das Gebäude wurde im Jahre 1705 durch den Rottweiler Metzger Johann Sichler auf den Grundmauern eines älteren Gebäudes erstellt und beherbergte das Wirtshaus "Zur Linde" ("Bey der Linden vor dem Ow-Tor"). Seit dem Jahr 1861 ist das Haus im Besitz der Familie Krämer geblieben. Der steile Aufstieg zur Stadt Rottweil hieß lange der "Lindenbuckel". Im Jahr 1981 wurde das Haus talwärts duch einen Erker erweitert. Die letzte Wirtin der Linde bis zu ihrer Schließung war Emilie Krämer ("'s Emile"). Die Linde war das Lieblingslokal von Otto Wolf, er gestaltete das Fasnets-Stüble in der Linde.