Helmuth Rilling studierte zunächst an der Hochschule für Musik und Darstellende Kunst Stuttgart unter anderem bei Karl Ludwig Gerok, Hermann Keller und Hans Grischkat, dann ab 1955 Orgel bei Fernando Germani in Rom. Am 1. Dezember 1957 wurde er Kantor an der wiederaufgebauten Gedächtniskirche in Stuttgart-Nord und übernahm kurz darauf zusätzlich einen Lehrauftrag an der Berliner Kirchenmusikschule. Seit 1963 Kirchenmusikdirektor in Stuttgart, wurde er 1969 Professor für Chorleitung an der Hochschule für Musik und Darstellende Kunst Frankfurt am Main. Diese Professur hatte er bis 1985 inne.

Ursprünglich Interpret vorbachscher Musik und romantischer und zeitgenössischer Chormusik, ist seit den 1970er Jahren das geistliche und weltliche Werk von Johann Sebastian Bach Rillings Arbeitsschwerpunkt. So spielte er zwischen 1970 und 1985 als erster Dirigent alle geistlichen Kantaten Bachs auf Schallplatte ein. Er gilt seither in Stuttgart als ¿Mister Bach¿. Friedrich Hänssler, der den Mut hatte, diese Produktion in seinem Verlag herauszugeben, erhielt dafür 1985 den Grand Prix du Disque.

Rilling gründete im Januar 1954 die Gächinger Kantorei und 1965 das Bach-Collegium Stuttgart, ferner 1970 das Oregon Bach Festival und 1981 die Internationale Bachakademie Stuttgart, deren künstlerischer Leiter er bis zu seinem Rücktritt im Februar 2012 war. Er war von 1985 bis 1996 Künstlerischer Leiter des Landesjugendchores Baden-Württemberg. Von 1969 bis 1982 leitete er zudem die Frankfurter Kantorei.

Eine seiner Spezialitäten sind die Gesprächskonzerte, in denen er Musikanalyse und Konzert verbindet. Mit Gedanken zu Bach, Anfang der 1980er, ist auch ein ähnlich gelagerter Tonträger erschienen. Er führt seit den 1970er-Jahren die sogenannten Bachakademien durch, das sind Konzert-Festivals mit Vorträgen und Meisterkursen für Gesang und Dirigieren. Solche Bachakademien finden regelmäßig in Stuttgart und Oregon (USA) statt, seit den 80er-Jahren auch in Japan. Zwischen 1986 und 2000 fanden zahllose Bachakademien in osteuropäischen Ländern statt, die ihm 2003 zu einer Ehrendoktorwürde der Musikakademie Krakau verhalfen und auch einen Beitrag zur Völkerverständigung leisteten.

1996 nahm Helmuth Rilling eine Vervollständigung von Franz Schuberts Oratorium Lazarus durch den russischen Komponisten Edison Denissow auf CD auf. 1985 konnte er die erste Gesamtaufnahme aller Bachkantaten abschließen, 2000 folgte dann die erste Gesamtaufnahme aller Werke von Johann Sebastian Bach unter Rillings künstlerischer Gesamtleitung auf 172 CDs in der international ausgezeichneten Edition Bachakademie.

1988 wurde unter Helmuth Rilling die Messa per Rossini uraufgeführt und 1995, unter der Schirmherrschaft des damaligen Bundespräsidenten Roman Herzog, das Requiem der Versöhnung von 14 zeitgenössischen Komponisten, als Geste der Versöhnung 50 Jahre nach Kriegsende. Weitere Uraufführungen unter Rillings Leitung waren 1998 das Credo von Krzysztof Penderecki und 2004 Der Onkel aus Boston oder die beiden Neffen, eine Jugendoper von Felix Mendelssohn Bartholdy.

Eine besondere Freundschaft verbindet ihn mit dem Israel Philharmonic Orchestra, das er 1986 als erster Deutscher nach dem Holocaust dirigierte und in dem Musiker spielten, die die nationalsozialistische Verfolgung überlebt hatten. Von 1990 bis 1996 war er als Nachfolger von Hans Pischner Präsident der Neuen Bachgesellschaft.