Ⅱ楽章 ホ長調 6/8 展開部抜きのソナタ形式
ホルンが先導する第1主題 ④ は、修道士達がグレゴリオ聖歌を歌っている情景を思わせる。
これは「ウィーン・フィルえぴそーど」（ヴィテシュニク著 立風書房）の以下のような記述と結びつく。
若きブラームスがウィーンのジングアカデミーの指揮者になったとき、禁欲的な作品を愛好し、沢山の北ドイツのカンタータやモテット、そして繰り返しバッハの作品を持ち出した。カーニバルの演奏会でさえ、聖書による堅い合唱曲ばかりであった。楽員のヘルメスベルガーは、これをからかった。「ブラームスが特別上機嫌になったら、きっと作曲するだろうよ。〈墓こそ我が歓び〉って曲をね！」
この楽章にパロディ的な側面は無いが、バロック以前にタイムトリップすることで、新鮮な雰囲気を出そうとしたのは確かだ。使われているのは白鍵のミから始まる教会旋法のフリギア。但し、中間楽章でこうした旋法を用いるのはハイドン、モーツァルト、シューベルト等先例も多いが。一番多いのがファから始まるリディアで、ブラームス自身も〈1番〉のⅣ楽章のアルペン・ホルンの主題で用いている。
使われているのはミを中心に上下3度以内。白鍵でいうと「ミ・ファ・ソ」と「ミ・レ・ド」で、ラとシを避けている。経過主題 ⑤ を経て第1主題を変形した ⑥ に入ると、不使用の音の縛りが外されることで、旋律としての解放感が増す。
こうした穏やかな祈りは3連符による ⑦ で急変。⑦ では旋律的短音階が劇的な効果を上げる。その嵐を経て辿りついたロ長調の第2主題 ⑧ では、より音の制限の無い全音階の旋律が充足感をもたらす。
男性の声域に相当するチェロやヴィオラを中心とした中低域で奏されるこの ⑧ は、ブラームスの告白を肉声で聴くかのようで、これを印象づけるために、最初に教会旋法で音の制限をしたと見るべきだろう。