Von 1969 bis 1994 gehörte der Sozialdemokrat dem Bundestag an. Unter Bundeskanzler Helmut Schmidt (SPD) war er zunächst Parlamentarischer Staatssekretär im Innenministerium, ab 1978 leitete er das Bildungs- und Wissenschaftsressort und ab 1981 bis zum Ende der sozial-liberalen Koalition 1982 das Justizministerium.
Nach seinem Rückzug aus der aktiven Politik blieb Schmudes Rat zu gesellschaftspolitischen Themen gefragt. Unter anderem gehörte er ab 2005 dem Nationalen Ethikrat an und wurde von 2008 bis 2012 ebenfalls in den Deutschen Ethikrat berufen.
Die derzeitige Präses der EKD-Synode, Anna-Nicole Heinrich, dankte Jürgen Schmude im Namen der Synode für seine „umsichtige, beharrliche und humorvolle Leitung“. Auch nach seinem Ausscheiden aus der EKD-Synode 2003 blieb Schmude ehrenamtlich in kirchlichen Gremien aktiv. Die Union Evangelischer Kirchen ehrte ihn 2009 mit dem Karl-Barth-Preis. Im selben Jahr verlieh ihm die Evangelisch-Theologische Fakultät der Universität Bonn die theologische Ehrendoktorwürde.