O que é abliteração? A versão de 30 segundos
Abliteração (do inglês “abliteration”) é uma técnica de edição de pesos que desliga o hábito aprendido de um modelo de recusar. Ela sai direto da pesquisa de interpretabilidade. Em abril de 2024, Andy Arditi, Oscar Obeso e colegas que trabalhavam com Neel Nanda publicaram “Refusal in LLMs is mediated by a single direction” no LessWrong e no Alignment Forum. O artigo completo no arXiv, apresentado depois na NeurIPS 2024, relata o efeito em 13 modelos de chat open source de até 72B de parâmetros.
A descoberta: apague uma direção do residual stream do modelo e ele para de recusar instruções nocivas; adicione essa direção e ele recusa até as inofensivas. A comunidade open source transformou esse resultado numa receita e num nome, “abliteration”, um trocadilho com “ablation” (ablação). Um modelo abliterado é simplesmente um modelo que passou pela receita.
Residual stream: o vetor corrente que cada camada lê e no qual escreve. Direção: um vetor nesse espaço. Ablação: remover um componente, aqui a parte de cada ativação que aponta na direção da recusa.
Como a abliteração funciona, passo a passo
O artigo original e o texto bastante lido de Maxime Labonne no Hugging Face descrevem o mesmo procedimento central. Em termos conceituais:
- Reúna dois conjuntos de prompts. Um com instruções que o modelo recusa, outro com instruções comuns que ele responde.
- Registre as ativações. Passe os dois conjuntos pelo modelo e salve as ativações do residual stream nas posições finais dos tokens, camada por camada.
- Calcule a diferença das médias. Tire a média das ativações de cada conjunto e subtraia uma da outra. O resultado normalizado é uma candidata a direção de recusa para aquela camada.
- Escolha a melhor candidata. Teste candidatas de camadas diferentes e fique com a que remove as recusas com menos dano colateral. Labonne escolhe olhando as respostas; ferramentas mais novas automatizam isso.
- Faça a ablação. Ou subtraia o componente da direção de toda escrita no residual stream na hora da inferência, ou torne isso permanente ortogonalizando contra essa direção as matrizes de pesos que escrevem no stream (embeddings, saídas de atenção, saídas de MLP).
- Avalie e, se quiser, repare. Verifique as recusas e a qualidade geral. Alguns autores fazem depois um fine-tune leve de preferência para recuperar o desempenho perdido.
A ortogonalização dos pesos é o que torna os modelos abliterados fáceis de compartilhar: a edição fica nos pesos, então o resultado carrega em qualquer runtime normal, sem ganchos especiais.
Modelos abliterados vs. fine-tuning vs. jailbreak
Muita gente joga tudo isso no mesmo saco de “sem censura”. São ferramentas diferentes, com custos diferentes.
| Abordagem | O que muda | Do que precisa | É permanente? | Principal desvantagem |
|---|---|---|---|---|
| Abliteração | Uma direção removida dos pesos | Pesos abertos, uma GPU, dois conjuntos de prompts | Sim, no arquivo do modelo | Alguma perda de capacidade; pode deixar o modelo concordando demais |
| Fine-tune sem censura | Modelo retreinado com dados sem as recusas | Dataset, poder de computação para treino, experiência | Sim | Caro; o comportamento muda conforme os novos dados |
| Prompt de jailbreak | Nada no modelo; um prompt engana o modelo | Só texto | Não, vale por conversa | Pouco confiável, é corrigido, viola as regras da plataforma |
| Serviço hospedado permissivo | Prompt de sistema e política em volta do modelo | Uma assinatura | Sim, naquele serviço | Você confia no fornecedor; os limites dele continuam valendo |
iComparação conceitual com base nas pesquisas citadas e em textos da comunidade.
Falamos do panorama mais amplo de modelos abertos, hardware e hospedagem no nosso guia de LLM sem censura online ou local.
O que a abliteração não faz
- 01Não acrescenta conhecimento.Um LLM abliterado sabe exatamente o que o modelo base sabia. Se o modelo base erra algo, o abliterado erra também, só que com mais boa vontade.
- 02Não garante zero recusas.Ela mira a direção dominante. Algumas recusas, rodeios e ressalvas podem sobreviver, dependendo do modelo e da camada escolhida.
- 03Não é uma lei da natureza.O resultado da direção única se confirmou nos modelos que os pesquisadores testaram. É um padrão empírico forte, não uma garantia para toda arquitetura futura.
- 04Não funciona em modelos fechados.Você precisa dos pesos e de acesso às ativações. Modelos disponíveis só por app ou API não podem ser abliterados pelos usuários.
- 05Não remove limites legais.Você continua respondendo pelo que o modelo gera.
Por que a abliteração importa além do chat sem censura
Os pesquisadores não estavam tentando criar chatbots sem censura. O ponto deles era sobre engenharia de segurança: se uma direção controla a recusa, então o fine-tuning de segurança em modelos open-weight é raso e barato de desfazer. O artigo chama o fine-tuning de segurança atual de frágil e defende que entender o funcionamento interno dos modelos pode gerar formas práticas de controlar o comportamento, nos dois sentidos.
- 01Para equipes de segurançamostra que qualquer pessoa com os pesos pode remover a recusa, o que pesa na forma como os laboratórios pensam a liberação de modelos abertos.
- 02Para a interpretabilidadeé um exemplo limpo de um comportamento que corresponde a uma característica legível. O mesmo artigo usa isso para estudar como sufixos adversariais suprimem o sinal de recusa.
- 03Para quem usa modelos abertosexplica por que variantes “sem censura” de novos lançamentos aparecem em poucos dias. A receita é curta e o custo computacional é modesto.
- 04Para todo mundoé um lembrete de que uma recusa é um hábito aprendido, não sinal de que o modelo é mais sábio que você.
Os autores também trataram da preocupação óbvia no próprio post: argumentaram que publicar acrescentava pouco risco novo, já que se sabia que o fine-tuning de segurança podia ser revertido de forma barata e os modelos afetados eram públicos. Você pode discordar, mas vale ler o raciocínio deles antes de um resumo dele.
O custo de qualidade dos modelos abliterados
Editar pesos é cirurgia, e cirurgia tem efeitos colaterais. No experimento de Labonne com um modelo de 8B, a versão abliterada pontuou menos em todos os benchmarks que ele rodou. Um fine-tune leve de preferência (DPO) feito depois recuperou a maior parte da queda, com exceção de matemática (GSM8K). Hoje, muitos autores publicam uma versão crua e outra “curada”.
As ferramentas evoluíram desde então. Projetos como o Heretic, uma ferramenta open source de Philipp Emanuel Weidmann, automatizam a busca de parâmetros minimizando duas coisas ao mesmo tempo: o número de recusas e a divergência KL em relação ao modelo original em prompts inofensivos. Divergência menor significa que o comportamento em prompts normais fica mais próximo do original. É um alvo sensato, mas continua sendo um indicador indireto; o teste de verdade são as suas próprias tarefas.
Um modelo que nunca diz não também pode parar de questionar premissas ruins. Em perguntas de pesquisa ou de negócio, isso pode piorar as respostas em vez de melhorar. Peça contra-argumentos de forma explícita.
Como usar um LLM abliterado com bom senso
- Encontre pelo model card. Variantes abliteradas costumam ser publicadas no Hugging Face com o nome do modelo base e um sufixo. Um bom card informa a base, o método, a camada escolhida e qualquer etapa de reparo.
- Confira a licença. A variante normalmente herda a licença do modelo base e as restrições de uso dele.
- Escolha um formato que o seu runtime leia. Arquivos GGUF funcionam em apps baseados em llama.cpp, como Ollama e LM Studio; safetensors funcionam em stacks Python.
- Dimensione para o seu hardware. Um modelo de 8B em 4 bits precisa de uns 4–5 GB para os pesos, e mais para contexto longo.
- Compare com o original. Mesmos prompts, os dois modelos. Conte as recusas, mas conte também os erros factuais e as quedas de qualidade.
De propósito, não colocamos links para uploads abliterados específicos nem publicamos prompts para driblar as regras de qualquer modelo ou fornecedor. Escolha fontes documentadas e julgue os resultados você mesmo.
Quando um serviço hospedado ganha de um modelo abliterado
A abliteração é brilhante se você quer estudar modelos, rodar tudo offline ou controlar cada configuração. É exagero se o que você quer mesmo é um assistente que responda direto, escreva ficção sombria sem desmaiar e saiba o que aconteceu na semana passada.
- Nenhuma GPU para comprar, nenhum arquivo para atualizar, nenhum runtime para depurar.
- Modelos maiores do que a maioria das configurações caseiras aguenta.
- Busca na web em tempo real com fontes, algo que nenhum modelo local tem de fábrica.
- Geração de imagens no mesmo app.
Isso é o Unrestricted AI: um chat que recusa só uma lista curta e pública de limites inegociáveis (menores, imagens sexuais ou falsas de pessoas reais, ajudar alguém a machucar outras pessoas), mais busca e, no plano Max, imagens. Só para adultos, sem plano grátis; veja os planos e preços. Se você está pesquisando opções, nosso comparativo dos melhores chatbots de IA sem censura coloca os serviços hospedados lado a lado, e nossa página de chat IA sem censura mostra como é uma conversa.