Air Race X: AFC Image traz o som de realidade estendida para Shibuya

Em outubro de 2023, a etapa digital do Air Race X Shibuya viu aeronaves virtuais competindo pelas ruas de Shibuya, no Japão. Para a primeira corrida aérea do mundo realizada por meio de realidade estendida ( Realidade Estendida - XR), o som realista foi uma parte crucial do espetáculo. A tecnologia de áudio imersivo da Yamaha AFC Image garantiu que o evento fosse uma experiência emocionante e ultra-real.

É óbvio que correr com monoplanos esportivos a velocidades de até 370 km/h em uma cidade não é prático, por isso o Air Race X foi desenvolvido como a "Fórmula 1 dos céus" a fim de criar a atmosfera e o espetáculo de aviões virtuais correndo uns contra os outros pelas ruas. Oito dos principais pilotos de corrida aérea do mundo fizeram um percurso idêntico em locais remotos ao redor do mundo, tendo dados precisos de voo coletados e analisados pela sede da competição. Esses dados foram usados para criar uma série de "corridas" virtuais em Shibuya, em que os espectadores viam animações da aeronave por meio de óculos de realidade aumentada (AR) e smartphones.

O Desafio

"Com o Air Race X, queríamos criar um novo estilo sem precedentes de esporte para espectadores", diz (Sr. Tsutsumi da PATHFINDER Co., Ltd.). "Desejávamos reproduzir a potência e a posição do som do motor da aeronave, da maneira que é exclusiva do esporte motorizado, em um ambiente de espectadores de RA".

Anunciado como um "esporte automobilístico de cinco dimensões que transcende o tempo e o espaço", os espectadores se reuniram no Shibuya QWS da cidade, um espaço criativo e de networking no 15º andar do arranha-céu Shibuya Scramble Square. De lá, eles podiam observar a aeronave virtual (usando os dados de voo reais) voando pelo percurso virtual.

O som foi um elemento fundamental na criação de uma impressão realista dos aviões voando, mas um sistema de som estéreo convencional não teria sido suficiente para produzir uma sensação realista de movimento sonoro.

Além disso, a simples reprodução de uma fonte de áudio não era suficiente para dar uma sensação de realismo. O som que chega aos nossos ouvidos não é somente as ondas diretas, mas também as refletidas por edifícios e outros objetos. Esse foi outro desafio enfrentado pela equipe da Yamaha, porque os sons refletidos que seriam produzidos pelos prédios da cidade em Shibuya não foram criados nos espaços abertos onde as gravações foram feitas.

A Solução

Sob a liderança do supervisor Hiromu Ohgi, o Grupo de Áudio Espacial da Divisão de Soluções Profissionais da Yamaha implantou o sistema de imagem AFC (Active Field Control), de propriedade da Yamaha, com o intuito de localizar o som para os espectadores, maximizando a impressão de que a aeronave virtual produzia som real.

"O AFC Image pode cobrir uma área de até um quilômetro quadrado (0,4 milhas quadradas) e também é capaz de simular a atenuação da distância. Isso significa que fomos capazes de reproduzir o movimento da imagem sonora e as mudanças no volume a uma distância de até um quilômetro, ou seja, reproduzimos sons de voo muito realistas", diz Hiromu.

Os sistemas AFC podem utilizar o protocolo Open Sound Control (OSC), o que, para essa aplicação, implica que dados úteis não diretamente relacionados ao som - como as informações de posição do voo - podem ser usados para transmitir informações ao sistema AFC Image para traçar a localização da aeronave virtual no espaço aéreo de Shibuya.

Os sons foram reproduzidos usando 13 alto-falantes de potência de duas vias Yamaha DZR10-D equipados com Dante e um subwoofer de potência DXS15XLF-D equipado com Dante. Colocados no chão a uma distância de cerca de dois metros, a reprodução do movimento sonoro da aeronave pelo sistema AFC Image foi reproduzida de maneira tão suave e realista que, apesar do espaçamento entre os alto-falantes, soou completamente natural.

"Para criar um espaço sonoro mais realista, usamos o 3D Reverb da AFC Image", acrescenta Hiromu. "Esse é um efeito exclusivo que fornece uma reverberação com uma estrutura de som refletida, com base na posição da fonte. Para criar com precisão o ruído da aeronave voando ao redor de Shibuya, criamos uma predefinição em que a energia das primeiras reflexões é alta, para imitar o impacto nos edifícios, enquanto as últimas reverberações são quase inexistentes, como se o som estivesse desaparecendo na distância. Os membros da plateia disseram que era como se pudessem sentir a localização da aeronave, apenas pelo som!"

"As pessoas ficaram muito interessadas quando explicamos que o sistema calculava os ecos dos prédios ao redor, para torná-lo o mais realista possível", acrescenta o Sr. Tsutsumi. "O som e as vibrações eram tão fortes que era quase como se o público estivesse do lado de fora, apesar de estar em um ambiente fechado. A experiência de sentir o som em todo o corpo, em vez de apenas ouvi-lo, e essa sensação mudando à medida que a aeronave virtual passava, foi ótima".

O sistema de reprodução de som foi totalmente conectado em rede Dante, com o uso do Steinberg Nuendo DAW para rotear o som, hospedado em um PC que tinha uma placa AIC-128D Dante Accelerator, para um console de mixagem digital Yamaha CL1 e o processador AFC e, em seguida, para os alto-falantes individuais.

Um PC de controle que executa um ambiente Cycling '74 Max8 foi utilizado para enviar as informações de posição da fonte sonora para o sistema AFC Image via OSC. A sincronização entre os dados de posição da fonte de som e a fonte de som de reprodução foi estabelecida usando MIDI; os sinais de controle MIDI enviados do Max8 para o Nuendo, permitindo que a reprodução do Nuendo fosse controlada pelo software Max8.

Os visuais de RA foram reproduzidos na plataforma Psychic VR Lab Inc. STYLY VR/AR. A sincronização com o AR foi realizada com base no horário, com o Max8 ajustado para reproduzir automaticamente a fonte sonora conforme o horário.

"Nosso plano é transformar o Air Race X em um evento global de classe mundial e consideramos que a ligação entre o XR e a tecnologia de som é fundamental para o seu crescimento", diz o Sr. Tsutsumi. "Ao promover o voo realista de aeronaves com o Air Race X, pudemos trabalhar com pessoas do XR e da produção de som com as quais nunca havíamos tido contato antes. Foi muito estimulante para nós e queremos expandir o uso desse tipo de sistema em outros eventos".

"Sistema AFC"