- Sohn des Politikers und Kunstsammlers Hans Kaspar Keller.
- 1789 Beginn des Rechtsstudium in Bern.
- 1791 Bekanntschaft des Bildhauers Joseph Maria Christen und folgt ihm als Lehrling nach Stans und Luzern.
- 1794 reiste er nach Rom, wo er sich dauerhaft als selbstständiger Bildhauer niederliess. Zu seinem Bekanntenkreis gehörten der Altertumsforscher Karl Ludwig Fernow, der Bildhauer Bertel Thorvaldsen und die Malerin Angelika Kauffmann. Ab 1803 verlegte sich Keller aufgrund gesundheitlicher Probleme vermehrt auf das Schreiben und den Handel mit Marmor. Dabei machte er sich auch als Journalist und Verfasser von Kunstführern, als Lyriker und Dramatiker sowie als Übersetzer einen Namen.
- 1810 Mitglied der Pontificia Accademia Romana di Archeologia und korrespondierendes Mitglied der Dänischen Archäologischen Gesellschaft.
- Der Nachlass befindet sich im Kunsthaus Zürich.
- Keller fertigte den Grabstein des Sohnes Wilhelm von Humboldt, gest. 1803, an (Sander-Rindtorff 1936, S. 272, Anm. 18)