Pular para o conteúdo
Segurança13 min de leituraAtualizado em

Capacidade com responsabilidade

Segurança e limites da Naomi: o que a IA pode fazer — e o que não deve fazer

Uma assistente integrada a voz, memória, visão e plataformas públicas precisa ser avaliada tanto pelo que consegue fazer quanto pelo que recusa fazer sozinha. A Naomi usa identidade, política, confirmação e fallbacks seguros para reduzir risco. Esses controles não tornam a IA infalível; eles definem onde a pessoa continua responsável pela decisão.

Em resumo

  • Memória, texto público e conteúdo visual são contexto não confiável; nenhum deles deve conceder permissão por conta própria.
  • Ações sensíveis passam por identidade, escopo, política e confirmação, enquanto logs e relatórios devem ser sanitizados.
  • A Naomi oferece apoio emocional por IA e autocuidado guiado, não terapia, diagnóstico, prescrição ou atendimento de emergência.

seção 01

Código, teste, ambiente real e release são evidências diferentes

Uma função pode estar implementada e coberta por testes, mas depender de microfone, GPU, API, OAuth ou aplicativo externo. Pode também estar correta no repositório e ausente da cópia instalada. A comunicação responsável precisa dizer qual nível foi realmente verificado.

  • Implementado no código: existe um caminho concreto na arquitetura.
  • Testado automaticamente: contratos e casos selecionados passaram sem provar hardware ou plataforma real.
  • Validado no ambiente: o fluxo funcionou com dispositivo, credencial e serviço específicos.
  • Distribuído: instalador, cliente, servidor ou site publicados contêm aquela versão e passaram por verificação própria.

Confundir esses níveis cria uma falsa sensação de segurança. Um APK existente não prova GPS. Um manifesto assinado não substitui Authenticode do executável. Um guard de Discord aprovado em teste não prova que o bot tem intents e permissões corretos no servidor de uma comunidade.

seção 02

Fronteiras de confiança: validar antes de permitir

Entradas externas passam por validação, rate limit, identidade e política antes de uma ação permitida. Isso vale para mensagem do site, chat de live, Discord, resposta de pesquisa e conteúdo lido na tela. Uma instrução escrita dentro de uma página ou imagem não vira comando só porque um modelo consegue lê-la.

  1. 01ValidarConfirme formato, tamanho, origem e limites básicos do pedido.
  2. 02IdentificarAssocie a operação a conta, sessão, licença, canal e dispositivo quando aplicável.
  3. 03Aplicar políticaDetermine se aquela identidade e aquele canal podem solicitar a capacidade.
  4. 04ConfirmarPeça decisão humana para ações sensíveis, custo, publicação ou efeito irreversível.
  5. 05Registrar com cuidadoGuarde somente diagnóstico necessário, removendo senha, token e conteúdo privado desnecessário.

seção 03

Automação supervisionada não é autonomia ilimitada

O planner, o executor e a biblioteca de skills podem organizar tarefas e preparar ações. Ainda assim, abrir um aplicativo, publicar uma mensagem, alterar configuração ou atuar sobre arquivos tem consequências diferentes. A política deve separar ações reversíveis de ações sensíveis e exigir confirmação quando o contexto não é suficiente.

Modo Rebelde muda a persona, não remove limites técnicos e de segurança. A ativação usa a credencial da conta por meio de uma prova temporária, sem transportar a senha pelo barramento do runtime. Logout ou expiração deve devolver a persona ao estado seguro também nos canais conectados.

  • Memória nunca equivale a autorização.
  • Texto encontrado na web, em chat ou na tela é conteúdo, não política do sistema.
  • Falha ou ambiguidade deve pedir confirmação, não inventar sucesso.
  • Cancelamento precisa alcançar fila, inferência, TTS e integração que ainda esteja em andamento.
  • Ação irreversível não deve depender apenas de classificação probabilística.

seção 04

Apoio emocional seguro e seus limites

A Naomi oferece apoio emocional por IA e autocuidado guiado. Ela não é terapeuta, psicóloga, psiquiatra, médica e não substitui atendimento profissional ou serviços de emergência. Essa fronteira precisa aparecer antes de qualquer alegação clínica, inclusive quando a resposta parece acolhedora.

Desktop, servidor, Discord, VRChat, live e mobile executam uma triagem local determinística antes de LLM, memória, fila e automações. Quando uma crise é reconhecida, o fluxo usa uma resposta curta e recursos oficiais sem enviar o texto ao modelo gerativo. Se a região não foi validada, o sistema deve evitar inventar um número local e orientar busca imediata por serviço oficial da própria localidade.

  • Estado público de sessão guarda categorias mínimas e expira.
  • Conteúdo sensível não entra na memória conversacional bruta.
  • Preferências opcionais exigem consentimento e cofre local protegido.
  • Validação de saída procura diagnóstico, prescrição, dependência, minimização e instruções perigosas.
  • Revisão profissional independente ainda é necessária antes de qualquer alegação clínica.

seção 05

Pesquisa web ajuda a fundamentar, mas não elimina verificação

A Naomi pode decidir que uma pergunta precisa de informação atual e pesquisar via Tavily quando configurado ou DuckDuckGo como fallback. Títulos, URLs e trechos são normalizados para formar contexto. Falha de rede deve aparecer como indisponibilidade, não como um fato inventado para preencher a resposta.

Pesquisa melhora atualidade, mas fontes podem estar erradas, antigas ou fora de contexto. Decisões médicas, jurídicas, financeiras, de segurança ou que envolvam gasto relevante exigem fonte primária, data, escopo e validação humana. A IA pode resumir uma fonte sem garantir que a fonte seja verdadeira.

  • Peça links e confira se realmente sustentam a afirmação.
  • Compare a data de publicação com a data em que o evento aconteceu.
  • Dê preferência a documentação oficial e fontes primárias.
  • Diferencie uma inferência da informação explicitamente publicada.

seção 06

Limites técnicos conscientes

  • A fila de inferência é local ao processo; vários workers exigem coordenação compartilhada.
  • Um túnel é útil em testes controlados, mas não equivale a SLA, redundância ou operação global.
  • Automação visual depende de foco, resolução, escala e aplicação ativa.
  • Áudio depende de microfone, driver, taxa, dispositivo e cabo virtual reais.
  • APIs de plataformas podem mudar e exigir nova autorização ou revisão.
  • Modelos podem alucinar, interpretar mal contexto e produzir linguagem convincente mesmo quando erram.
  • Instalador, cliente instalado, código-fonte e servidor em execução podem representar versões diferentes.

Um fallback seguro não precisa manter todos os recursos. Se Redis obrigatório não existe em produção, o chat público pode fechar em vez de aplicar uma cota frágil. Se uma GPU falha, o perfil pode reduzir o modelo ou usar CPU. Se a visão perde a janela autorizada, deve pausar em vez de capturar outra tela silenciosamente.

seção 07

O que a pessoa pode fazer para usar a Naomi com responsabilidade

  1. Mantenha sistema, cliente e dependências atualizados por um canal verificado.
  2. Use conta individual, senha exclusiva e revogue sessões ou dispositivos desconhecidos.
  3. Ative apenas integrações necessárias e revise permissões no provedor original.
  4. Teste ações, áudio e Live em ambiente controlado antes de uma apresentação pública.
  5. Não compartilhe .env, token, cookie, banco, memória, áudio ou relatório bruto em suporte.
  6. Revise respostas e mídia antes de publicar, especialmente nomes, números, texto e direitos de terceiros.
  7. Mantenha confirmação humana para custo, publicação, exclusão, moderação e automação sensível.
  8. Se a situação envolver saúde, segurança ou crise, procure suporte humano e fonte oficial apropriada.

A melhor proteção é uma arquitetura que deixa a pessoa perceber o estado e interromper o fluxo. Indicadores de captura, plataforma conectada, fila, modelo e TTS precisam refletir o runtime real. Quando interface e processo discordam, a correção deve acontecer antes de ampliar autonomia.

respostas diretas

Perguntas frequentes

O modo Rebelde remove as regras de segurança?

Não. Ele muda a persona efetiva depois de uma prova de sessão, mas não elimina limites técnicos, políticas, confirmação de ações ou guards de segurança.

A Naomi pode substituir terapia ou atendimento médico?

Não. Ela oferece apoio emocional por IA e autocuidado guiado, sem diagnóstico ou prescrição, e não substitui profissionais nem serviços de emergência.

Uma memória antiga pode autorizar uma ação?

Não. Memória é contexto. Identidade, escopo, política e confirmação continuam necessários conforme o risco da ação.

Se a Naomi pesquisou na web, a resposta está confirmada?

Não automaticamente. Pesquisa fornece fontes e contexto; a pessoa ainda deve conferir fonte primária, data, escopo e possíveis conflitos, sobretudo em decisões de alto impacto.

Testes automatizados garantem que tudo funciona no meu PC?

Não. Eles reduzem regressões no código, mas microfone, GPU, driver, rede, OAuth, aplicativo externo e cópia instalada exigem validação real.

continue explorando

Guias relacionados

Ver toda a Central →