Gramse studierte zunächst von 1958-1963 an der Werkkunstschule Dortmund „freie Grafik“ und danach bis 1969 an der Hochschule für bildende Künste Kassel „Malerei“ bei Arnold Bode, für den er anschließend zwei Jahre als Assistent arbeitete. Er war Mitarbeiter bei der documenta 3, 4 und 6, bei der er auch selbst in der Abteilung „Handzeichnungen“ vertreten war. Seit 1970 Zusammenarbeit mit H.-O. Kalkmann unter: team: gramse / kalkmann

Er arbeitete als Lehrbeauftragter an der Kunsthochschule Kassel (seit 1976) und war Dozent im Fachbereich „Design“ an der FH Dortmund. Gramse starb 1982 kurz vor seiner Berufung zum Professor.