Den Flusstälern und Flächen stehen, gleichsam kontrastierend, die wichtigsten Mittelgebirge des Landes gegenüber. Der Schwarzwald steigt im Westen in einer sehr deutlichen Bruchstufe aus dem Oberrheintal auf und findet im Osten sehr viel weniger deutlich dort seine Begrenzung, wo die überwiegende Waldbedeckung in offene Ackerfluren übergeht.

Der Schwarzwald ist insgesamt waldbedeckt, geologisch aber keineswegs homogen. Im Süden dominiert das Grundgebirge (Granit, Gneis) mit wasserreichen Tälern und Seen, Einzelhöfen, kleinen Weilern und wichtigen Fremdenverkehrsorten, während der Norden durch Buntsandstein, geringere Gewässerdichten und einige siedlungsgeografische Spezifika wie Waldhufendörfer geprägt ist.

Beide Teile sind durch eine deutliche Tiefenzone, das Kinzigtal, voneinander getrennt. Der Odenwald bildet in gewisser Weise die nördliche Fortsetzung des Schwarzwalds. In seinem südlichen, baden-württembergischen Teil ist er ausschließlich durch den roten Buntsandstein bestimmt, der auch Siedlungen und Kleinstädte als Baustein prägt.

Die Schwäbische Alb erstreckt sich von der Schweizerischen Grenze bis zum Nördlinger Ries. Markant ist hier vor allem die nach Nordwesten blickende Steilstufe des Albtraufs, die sich bis zu 400 Meter über ihr Vorland erhebt. Aufgebaut ist sie aus Kalken des Weißen Juras (Malm), die jeweils von leicht abtragbaren Mergeln unterlagert sind.

Die Keuperbergländer erstrecken sich zwischen Albvorland (Liasflächen) und Gäuen. Sie werden von relativ harten Sandsteinschichten aufgebaut und heben sich vor allem durch ihre Waldbedeckung (circa 43 % der Gesamtfläche) von ihrer Umgebung ab. Durch die Nebenflüsse des Neckars werden sie in zahlreiche kleinere Berggruppen gegliedert. Sie dienen, vor allem in ihren östlich und südlich von Stuttgart gelegenen Teilen, als wichtiges Naherholungsgebiet der Großstadtbevölkerung (z. B. Schönbuch).