Para que serve de verdade
Entrevistas, discursos e conversas longas funcionam melhor ouvindo do que assistindo. Um arquivo de áudio pesa uma fração do vídeo e dá para ouvir com a tela desligada.
Também é o jeito mais rápido de citar algo com precisão: um MP3 curto entra em qualquer editor de áudio sem precisar processar um vídeo inteiro antes.
Nenhum bitrate melhora a origem
O áudio do X costuma estar em AAC a uns 128 kbps. Escolher 320 não recupera detalhe que não existe, apenas reduz o que a recodificação acrescenta por cima.
Ou seja: 320 kbps entrega a cópia mais fiel dessa origem, não uma origem melhor. Para fala, a diferença é praticamente inaudível.
