Sinestesia — por dentro da máquina

Apêndice

Por dentro da máquina

Como uma voz vira uma pintura, e como a pintura prova qual performance a criou. Escrito para engenheiros; todos os outros podem pular.

1 · O pipeline ao vivo

O áudio sai da mesa como um feed de linha estéreo. Dois caminhos rodam em paralelo a partir do mesmo buffer: um transcreve e lê o significado, o outro acompanha andamento e energia. Os dois alimentam um diretor que decide o que a pintura faz em seguida. O renderizador nunca reinicia — ele só recebe instruções.

feed da mesa ──► ring buffer (2 s) ──┬──► transcrição ──────┐
                                     │    (linha, t0, t1)   │
                                     └──► análise musical ──┤
                                          (bpm, tom, energia)
                                                            ▼
                                                   diretor  (LLM)
                                                            │  instrução
                                                            ▼
                          renderizador da tela  ◄── estado da pintura
                                   │
                          saída do projetor (1080p) ──► overlay de QR (últimos 30 s)
                                   │
                          fim da música ──► selo ──► registro de proveniência

ROLE PARA O LADO PARA VER O DIAGRAMA COMPLETO

2 · O loop do diretor

O diretor é o único componente que toma decisões estéticas. Ele vê a última linha cantada, o resumo corrente da música até ali e uma descrição compacta do que já está na tela. Ele retorna uma instrução — uma região, um assunto, um movimento de paleta, uma intensidade. Ele não tem permissão para limpar a tela.

Última linha, resumo da música até ali, descrição da tela, posição no compasso.

Retorna

Uma instrução: região, assunto, mudança de paleta, intensidade, blend.

Não pode

Limpar a tela, mover o horizonte ou contradizer uma fonte de luz já firmada.

Registrado

Instrução, linha que a causou, id do modelo, timestamp, hash.

Cada instrução é registrada com a linha que a causou e o timestamp em que disparou. Esse log não é telemetria — é a partitura da obra, e é entregue junto com a peça.

3 · Por que uma tela única é difícil

Gerar uma imagem por linha é fácil e parece um slideshow. Fazer uma única imagem coerente crescer por quatro minutos significa que cada nova pincelada precisa respeitar a composição, a iluminação e a cor já firmadas. Mantemos um latent persistente da tela mais um mapa de regiões do que já foi ocupado, e restringimos cada edição à área ainda livre ou intencionalmente repintada. Repintar é permitido — a camada mais antiga continua visível por baixo, e é isso que faz o resultado parecer tinta.

Orçamento de latência, por instrução

Transcrição de uma linha cantada ≤ 400 ms
Decisão do diretor ≤ 700 ms
Primeira pincelada visível ≤ 500 ms
Pincelada assentada na tela ≤ 2 s

A meta é uma mudança visível dentro de um compasso a partir da linha cantada. Os números aqui são o orçamento de projeto, não um benchmark medido.

4 · Proveniência do momento

Uma pintura sem a sua performance é decoração. Então, quando a música termina, selamos a imagem junto com o registro que a produziu, e mintamos esse par. O token aponta para a imagem e para um registro imutável dos inputs — não para uma promessa de que nos comportamos bem.

{
  "performance": { "song": "…", "artist": "…", "venue": "…", "started_at": "…" },
  "transcript":  [ { "t": 12.480, "line": "…" }, … ],
  "director_log":[ { "t": 13.021, "instruction": { … }, "model": "…", "hash": "…" }, … ],
  "canvas":      { "final_image": "ipfs://…", "keyframes": [ "ipfs://…", … ] },
  "attestation": { "scheme": "…", "signature": "0x…" }
}

Qualquer pessoa com uma impressão pode checar três coisas: que a transcrição bate com o áudio daquela noite, que cada instrução decorre de uma linha que foi realmente cantada, e que a imagem final é o resultado de reproduzir esse log. A plateia nunca vê nada disso — ela vê uma imagem e um código.

5 · Inferência verificável

A alegação interessante não é "uma IA fez arte". É que um modelo específico, recebendo uma linha específica em um segundo específico, produziu uma instrução específica — e que isso pode ser verificado depois por alguém que não estava na sala. Atestamos a identidade do modelo e o par de input/output de cada chamada do diretor, então a cadeia que vai da voz à pincelada é auditável de ponta a ponta.

Onde a atestação mora, e quão forte ela é, é a parte que ainda está em movimento. A build atual assina o log na borda e ancora um digest on-chain; esquemas mais fortes estão no roadmap, e preferimos dizer isso com clareza a prometer mais do que entregamos.

6 · Limites conhecidos

  • Efeitos vocais pesados e vozes gritadas degradam a transcrição; o sistema recua para o modo só-música.
  • Músicas com menos de noventa segundos não dão à pintura espaço suficiente para acumular.
  • Trocar de idioma no meio da música funciona, mas a paleta pode dar solavancos.
  • Ele interpreta. Às vezes vai pintar o substantivo errado com convicção. Tratamos isso como parte do próprio meio.
Voltar para a capa Pergunte algo específico