Das Kloster wurde von Kaiser Ludwig dem Bayern am 28. April 1330, dem Tag des Heiligen Vitalis, im Graswangtal als Teil eines Gelöbnisses gegründet. Verbunden mit dem Gründungsgelübde waren auch ein Ausbau des Verkehrsweges nach Süden von Augsburg nach Verona und die Erschließung der Gegend.