Voz, memória e visão na Naomi: como os três recursos trabalham juntos

Uma conversa falada começa antes do modelo. O cliente precisa escolher um dispositivo de entrada, detectar atividade de voz e separar ruído de uma fala candidata. Wake word e comandos diretos ajudam a decidir quando a Naomi deve ouvir; a transcrição parcial e final transforma o áudio autorizado em texto que o restante do sistema consegue processar.

1. 01CapturaO microfone selecionado fornece áudio. Taxa de amostragem, canal, formato, driver e reconexão do dispositivo influenciam a qualidade antes de qualquer IA.
2. 02DetecçãoVAD e regras de wake word reduzem capturas acidentais e definem o começo e o fim de uma fala.
3. 03TranscriçãoAzure Speech ou um caminho local com faster-whisper pode produzir o texto, conforme configuração e disponibilidade.
4. 04RespostaO texto passa por persona, segurança e memória, segue para inferência e retorna progressivamente à interface.
5. 05SínteseQuando TTS está ativo, a resposta vira áudio e pode ser enviada ao alto-falante local ou a um cabo virtual autorizado.

Uma assistente que ouve a própria voz pode criar um ciclo: sintetiza uma frase, captura essa frase como entrada e responde a si mesma. O gate de entrada e o roteamento de dispositivos existem para reduzir esse risco. Em setups com Discord ou VRChat, microfone local e cabo virtual precisam ser distinguidos de forma explícita.

Barge-in é a capacidade de a pessoa interromper a fala da assistente. Ele depende de configuração, latência e de o sistema conseguir diferenciar nova fala humana da saída TTS. Por isso um erro de voz não deve ser atribuído imediatamente ao modelo: o problema pode estar na seleção do dispositivo, na permissão do Windows, no driver, na conta Azure ou no backend de transcrição.

• Confirme o nome do microfone efetivamente selecionado, não apenas o padrão do sistema.
• Teste entrada e saída separadamente antes de adicionar cabo virtual, Discord ou OBS.
• Observe se o TTS está bloqueando a entrada ou se a interrupção foi habilitada.
• Use um perfil de desempenho compatível para evitar que transcrição e modelo local disputem todos os recursos.

A memória de sessão mantém o fio da conversa atual. O contexto persistente do cliente registra elementos úteis entre sessões. Athena realiza recuperação semântica para localizar fatos relacionados à pergunta, enquanto a memória profunda serve a continuidades mais específicas. Essas fontes são consultadas e combinadas; nenhuma precisa despejar todo o conteúdo no prompt.

Esse desenho melhora relevância e reduz custo, mas exige filtros. Conteúdo sensível não deve ser transformado automaticamente em lembrança permanente. No módulo de apoio emocional, por exemplo, a memória emocional bruta fica desativada no servidor e o estado público de sessão usa informações mínimas e temporárias. Preferências opcionais exigem consentimento e proteção local.

O caminho de visão do desktop pode combinar captura autorizada, detecção de mudança, OCR, OpenCV e modelos multimodais locais. Em vez de tratar uma tela inteira como memória, ele produz um estado visual estruturado que separa observação, inferência e previsão. Essa separação reduz a chance de uma hipótese ser apresentada como algo realmente visto.

• A pessoa escolhe explicitamente o monitor ou a janela observada.
• Aplicativos e regiões sensíveis podem ser pausados ou mascarados pelo Privacy Guard.
• Detecção de mudança evita analisar repetidamente quadros praticamente iguais.
• OCR bruto, título de janela e screenshot não devem virar memória global por padrão.
• Fila e backpressure descartam trabalho antigo quando uma observação mais recente é mais útil.

A precisão depende da resolução, escala do Windows, foco, contraste, idioma do OCR e aplicação observada. Código e testes não substituem uma validação na tela real. Uma legenda pequena, uma sobreposição ou uma janela fora de foco pode mudar completamente o que o sistema consegue perceber.

No desktop, visão significa interpretar uma tela ou cena autorizada para gerar contexto. No estúdio web, Naomi Vision é o nome da ferramenta que cria uma nova imagem a partir de um prompt. Naomi Motion, no mesmo estúdio, cria ou anima vídeo. O primeiro fluxo pode ser local; o segundo usa provedores de geração externos e uma carteira de créditos do site.

Essa diferença afeta privacidade. Uma observação local pode ser convertida em semântica sem enviar o frame a uma nuvem, dependendo do modo. Já uma imagem enviada para animação precisa chegar ao provedor de vídeo. A interface e a política de privacidade devem informar qual caminho está ativo antes de a pessoa enviar conteúdo.

Imagine a pessoa perguntar por voz: “o que mudou nesta tela?”. A voz fornece a pergunta; a visão produz observações do frame autorizado; a memória pode recuperar o estado anterior relevante; e o modelo redige uma resposta. Cada fonte carrega um tipo de evidência, e o core consolida o contexto sem dar à imagem o poder de autorizar uma ação.

O mesmo vale para uma live. Uma chamada falada pode conviver com um evento selecionado do chat e um momento visual confirmado. O roteador aplica prioridade e cooldown, escolhe a persona efetiva e só então prepara uma resposta. Quanto mais entradas existem, mais importantes se tornam origem, timestamp, validade e permissão.

1. Identifique a origem de cada informação: fala, memória, tela ou plataforma.
2. Descarte contexto vencido ou sem relação com a pergunta atual.
3. Separe observação de inferência e peça confirmação antes de agir.
4. Não grave automaticamente entradas sensíveis só porque ajudaram uma resposta.
5. Mantenha um caminho de parada para voz, visão e automações.