Vevo2: Reorganização do canto baseada em três condições: conteúdo, timbre e ritmo.

SÍNTESE DE CANTO / NOTA TÉCNICA

O SoulX-Singer recebe letra e MIDI como uma partitura explícita. O Vevo2 é orientado por referência: tokens de conteúdo e estilo e tokens de prosódia são extraídos de um áudio de exemplo antes que um modelo acústico construa a forma de onda de destino. As duas rotas não devem compartilhar o mesmo contrato de entrada.

Por que dois tokenizadores

Quando um único fluxo de tokens carrega fonemas, altura, ritmo e timbre, a substituição de um fator afeta os demais. A rota do Vevo reduz esse acoplamento com quantizadores separados. Para o espaço latente acústico z, os tokens de conteúdo e estilo c e os tokens de prosódia r, o flow matching aprende:

L_FM = E ||v_θ(z_t,t,c,r)-u_t||²

A inferência integra o campo de velocidade condicional, e um vocoder reconstrói o áudio. A separação melhora o controle, mas o acompanhamento, as caudas de reverberação do ambiente e os erros de timing da referência ainda podem entrar nos tokens.

Não é um editor de partitura

O Vevo2 é adequado para transportar o estilo de canto e a prosódia de uma referência. Ele não expõe cada início, fim e velocity de nota MIDI nem o alinhamento entre letra e sílaba como contratos de edição igualmente rigorosos. O SoulX-Singer continua sendo a rota MIDI direta; o Vevo2 é o perfil correspondente orientado por referência.

Semelhança zero-shot e permissão

As representações de conteúdo, prosódia e timbre do Vevo2 ainda podem vazar umas para as outras, enquanto reverberação, backing vocals e acompanhamento contaminam o prompt. A semelhança de voz descreve o comportamento do modelo; não concede permissão para usar a identidade de um cantor. Referências e resultados precisam de autorização e de uma divulgação clara de que são sintéticos.