Der Kaiserhof ist der repräsentativste der zehn Höfe der Residenz.
Entstanden ist er in den 1610er Jahren unter der Herrschaft Herzogs Maximilian I., als die im Westtrakt gelegenen Gästezimmer angelegt wurden.
Diese waren den Besuchen des Kaisers vorbehalten, wodurch sich auch sein Name erklärt.
Die Hoffassaden umschließen eine Grundfläche von 3717 qm
und sind einheitlich im Fresko-Stil der italienischen Renaissance-Malerei bemalt.