Die um 840 errichtete Silvesterkapelle in Goldbach zählt zu den ältesten erhaltenen Kirchenbauten Deutschlands. Die karolingischen Wandmalereien gelten zu Recht als die ältesten im Bodenseeraum, die ottonischen Fresken sind eng mit denen in St. Georg auf der Reichenau verwandt.
Der Bau der Kapelle geht auf eine Stiftung des alamannischen Grafen Alpger zurück, der aus dem Linzgau stammte und Berater am Kaiserhof Karls des Großen war. Wohl unmittelbar nach der Fertigstellung des Kirchleins um 840, malten Mönche des Klosters Reichenau sein Inneres mit einem aufwändigen, perspektivisch wirkenden Mäanderband und einer Widmungsinschrift aus. Ob es auch einen Bilderzyklus gab, ist nicht bekannt, aber wahrscheinlich.
Die als Fragment erhaltene Inschrift in Gedichtform, deren Wortlaut eine karolingische Handschrift überliefert, ist einzigartig. Das Gedicht „In ecclesia sancti martiani – in golhdbah“ stammt von dem berühmten Reichenauer Abt Walahfried Strabo (um 808/809-849), der als Diplomat am Hof Karls des Großen tätig war und zu den herausragenden Dichtern und Gelehrten seiner Zeit gehört.