1. Startseite
  2. Unzensiertes LLM
  3. Abliterierte Modelle
Klar erklärt

Abliterierte Modelle: was Abliteration ist und was sie kostet

Abliterierte Modelle sind Open-Weight-LLMs, deren Ablehnungsverhalten entfernt wurde: Man findet die eine „Ablehnungsrichtung“ in ihren internen Aktivierungen und bearbeitet die Gewichte so, dass das Modell sie nicht mehr ausdrücken kann. Ein neues Training ist nicht nötig, deshalb ist Abliteration schnell und günstig, sie kann aber andere Fähigkeiten abstumpfen und funktioniert nur bei Modellen, deren Gewichte man herunterladen kann.

Nur ab 18Keine WerbungMit einem Klick kündbar
Aktualisiert am 19. Oktober 20266 Min. LesezeitVom Team von Unrestricted AI
Unrestricted AIMax-Modell
Frag nach der Version ohne Hype

Erklär mir Abliteration, als wäre ich Entwickler und hätte noch nie was mit Interpretability zu tun gehabt. Ohne Hype.

Unrestricted AI

Idee: In einem Chatmodell zeigt sich „Das sollte ich ablehnen“ als eine Richtung in den versteckten Aktivierungen.

Finden: Schick schädliche und harmlose Anweisungen durchs Modell, mittle die Aktivierungen pro Gruppe, zieh sie voneinander ab. Die Differenz zeigt entlang der Ablehnungsrichtung.

Entfernen: Projiziere diese Richtung aus der Ausgabe jeder Schicht heraus, entweder live während der Inferenz oder dauerhaft, indem du die Gewichtsmatrizen bearbeitest.

Ergebnis: Das Modell hört größtenteils auf abzulehnen. Es lernt nichts Neues dazu und kann bei anderen Aufgaben etwas schlechter werden.

Haken: Du brauchst die Gewichte. Geschlossene Modelle können Nutzer nicht abliterieren.

Frag, was du willst…
Beispielunterhaltung

Was ist Abliteration? Die 30-Sekunden-Version

Kurz gesagt

Abliteration ist eine Technik, die Gewichte bearbeitet und so die antrainierte Gewohnheit eines Modells abschaltet, Anfragen abzulehnen. Sie stammt direkt aus der Interpretability-Forschung. Im April 2024 veröffentlichten Andy Arditi, Oscar Obeso und Kollegen in Zusammenarbeit mit Neel Nanda den Beitrag „Refusal in LLMs is mediated by a single direction“ auf LessWrong und im Alignment Forum. Das ausführlichere Paper auf arXiv, später auf der NeurIPS 2024 vorgestellt, beschreibt den Effekt bei 13 Open-Source-Chatmodellen mit bis zu 72B Parametern.

Ihr Befund: Löscht man eine Richtung aus dem Residual Stream des Modells, lehnt es schädliche Anweisungen nicht mehr ab; fügt man diese Richtung hinzu, lehnt es sogar harmlose ab. Die Open-Source-Community machte daraus ein Rezept und einen Namen, „Abliteration“, ein Wortspiel mit Ablation. Ein abliteriertes Modell (englisch „abliterated“) ist schlicht ein Modell, das dieses Rezept durchlaufen hat.

Wichtige Begriffe

Residual Stream: der laufende Vektor, aus dem jede Schicht liest und in den sie schreibt. Richtung: ein Vektor in diesem Raum. Ablation: das Entfernen einer Komponente, hier des Anteils jeder Aktivierung, der entlang der Ablehnungsrichtung zeigt.

So funktioniert Abliteration, Schritt für Schritt

Das Original-Paper und Maxime Labonnes vielgelesener Beitrag auf Hugging Face beschreiben dasselbe Kernverfahren. Konzeptionell:

  1. Zwei Prompt-Sets sammeln. Eines mit Anweisungen, die das Modell ablehnt, eines mit gewöhnlichen Anweisungen, die es beantwortet.
  2. Aktivierungen aufzeichnen. Beide Sets durchs Modell schicken und die Aktivierungen im Residual Stream an den letzten Token-Positionen speichern, Schicht für Schicht.
  3. Differenz der Mittelwerte bilden. Die Aktivierungen jedes Sets mitteln und voneinander abziehen. Das normalisierte Ergebnis ist eine Kandidaten-Ablehnungsrichtung für diese Schicht.
  4. Den besten Kandidaten wählen. Kandidaten aus verschiedenen Schichten testen und den behalten, der Ablehnungen mit den geringsten Kollateralschäden entfernt. Labonne wählt durch Sichtprüfung der Ausgaben; neuere Tools automatisieren das.
  5. Ablatieren. Entweder bei der Inferenz den Anteil der Richtung von jedem Schreibvorgang in den Residual Stream abziehen, oder es dauerhaft machen, indem man die Gewichtsmatrizen, die in den Stream schreiben (Embeddings, Attention-Ausgaben, MLP-Ausgaben), gegen diese Richtung orthogonalisiert.
  6. Bewerten und optional reparieren. Ablehnungen und allgemeine Qualität prüfen. Manche hängen ein leichtes Preference-Finetuning an, um verlorene Leistung zurückzuholen.

Die Orthogonalisierung der Gewichte macht abliterierte Modelle so leicht teilbar: Die Änderung steckt in den Gewichten, das Ergebnis lädt also in jeder normalen Laufzeitumgebung, ganz ohne spezielle Hooks.

Abliterierte Modelle vs. Finetuning vs. Jailbreak

Viele werfen das alles unter „unzensiert“ in einen Topf. Es sind aber verschiedene Werkzeuge mit verschiedenen Kosten.

AnsatzWas sich ändertVoraussetzungenDauerhaft?Größter Nachteil
AbliterationEine Richtung wird aus den Gewichten entferntOffene Gewichte, eine GPU, zwei Prompt-SetsJa, in der ModelldateiEtwas Fähigkeitsverlust; kann das Modell übertrieben gefällig machen
Unzensiertes FinetuningModell wird auf Daten ohne Ablehnungen neu trainiertDatensatz, Rechenleistung fürs Training, FachwissenJaTeuer; Verhalten verschiebt sich mit den neuen Daten
Jailbreak-PromptNichts am Modell; ein Prompt trickst es ausNur TextNein, pro ChatUnzuverlässig, wird gepatcht, verstößt gegen Plattformregeln
Freizügiger gehosteter DienstSystemprompt und Richtlinien rund um das ModellEin AboJa, für diesen DienstDu vertraust dem Anbieter; dessen eigene Grenzen gelten weiter

Konzeptioneller Vergleich auf Basis der zitierten Forschung und Community-Beiträge.

Den größeren Rahmen aus offenen Modellen, Hardware und Hosting behandeln wir in unserem Ratgeber zum unzensierten LLM, online oder lokal.

Was Abliteration nicht kann

  • 01Sie fügt kein Wissen hinzu.Ein abliteriertes LLM weiß genau das, was sein Basismodell wusste. Liegt das Basismodell bei etwas falsch, liegt auch das abliterierte falsch, nur bereitwilliger.
  • 02Sie garantiert keine null Ablehnungen.Sie zielt auf die dominante Richtung. Manche Ablehnungen, Ausflüchte und Disclaimer können überleben, je nach Modell und gewählter Schicht.
  • 03Sie ist kein Naturgesetz.Das Ein-Richtungs-Ergebnis galt für die Modelle, die die Forscher getestet haben. Es ist ein starkes empirisches Muster, keine Garantie für jede künftige Architektur.
  • 04Sie funktioniert nicht bei geschlossenen Modellen.Du brauchst die Gewichte und Zugriff auf die Aktivierungen. Rein gehostete Modelle können ihre Nutzer nicht abliterieren.
  • 05Sie hebt keine gesetzlichen Grenzen auf.Für die Ausgabe bist weiterhin du verantwortlich.

Warum Abliteration über unzensierte Chats hinaus wichtig ist

Die Forscher wollten keine unzensierten Chatbots bauen. Ihnen ging es um Sicherheitstechnik: Wenn eine einzige Richtung die Ablehnung steuert, dann ist das Sicherheits-Finetuning von Open-Weight-Modellen oberflächlich und billig rückgängig zu machen. Das Paper nennt heutiges Sicherheits-Finetuning brüchig und argumentiert, dass ein Verständnis des Modellinneren praktische Wege liefern kann, Verhalten zu steuern, in beide Richtungen.

  • 01Für SicherheitsteamsEs zeigt, dass jeder mit Zugriff auf die Gewichte die Ablehnung entfernen kann, und das prägt, wie Labore über die Veröffentlichung offener Modelle denken.
  • 02Für InterpretabilityEs ist ein sauberes Beispiel dafür, wie ein Verhalten auf ein lesbares Merkmal abgebildet wird. Dasselbe Paper nutzt es, um zu untersuchen, wie Adversarial Suffixes das Ablehnungssignal unterdrücken.
  • 03Für Nutzer offener ModelleEs erklärt, warum „unzensierte“ Varianten neuer Modelle innerhalb weniger Tage auftauchen. Das Rezept ist kurz und der Rechenaufwand überschaubar.
  • 04Für alle anderenEs erinnert daran, dass eine Ablehnung eine antrainierte Gewohnheit ist, kein Zeichen, dass das Modell klüger ist als du.

Die Autoren gehen in ihrem Beitrag auch auf die naheliegende Sorge ein: Die Veröffentlichung bringe kaum neues Risiko, da bereits bekannt war, dass sich Sicherheits-Finetuning billig rückgängig machen lässt, und die betroffenen Modelle öffentlich waren. Man kann das anders sehen, aber es lohnt sich, zuerst ihre Begründung zu lesen statt einer Zusammenfassung davon.

Was ein abliteriertes Modell an Qualität kostet

Gewichte zu bearbeiten ist ein chirurgischer Eingriff, und Eingriffe haben Nebenwirkungen. In Labonnes Experiment mit einem 8B-Modell schnitt die abliterierte Version in jedem seiner Benchmarks schlechter ab. Ein leichtes DPO-Preference-Finetuning danach holte den Großteil zurück, mit Mathe (GSM8K) als Ausnahme. Viele veröffentlichen inzwischen eine rohe und eine „geheilte“ Version.

Die Tools haben sich seitdem weiterentwickelt. Projekte wie Heretic, ein Open-Source-Tool von Philipp Emanuel Weidmann, automatisieren die Parametersuche, indem sie zwei Dinge gleichzeitig minimieren: die Zahl der Ablehnungen und die KL-Divergenz zum Originalmodell bei harmlosen Prompts. Eine geringere Divergenz heißt, dass sich das Modell bei normalen Prompts näher am Original verhält. Ein sinnvolles Ziel, aber immer noch nur ein Stellvertreter; der echte Test sind deine eigenen Aufgaben.

Gefällig ist nicht gleich nützlich

Ein Modell, das nie Nein sagt, widerspricht womöglich auch falschen Annahmen nicht mehr. Bei Recherche- oder Geschäftsfragen kann das die Antworten schlechter machen, nicht besser. Fordere Gegenargumente ausdrücklich an.

Probier diesen Prompt
Argumentiere so hart du kannst gegen meinen Plan: Ich will meinen Job kündigen und in einer Kleinstadt mit 9.000 Einwohnern ein Brettspiel-Café eröffnen. Nenn die fünf wahrscheinlichsten Gründe, warum es scheitert, und welche Belege dich widerlegen würden.

Ein abliteriertes LLM sinnvoll nutzen

  1. Finde es über seine Model Card. Abliterierte Varianten erscheinen meist auf Hugging Face mit dem Namen des Basismodells und einem Zusatz. Eine gute Model Card nennt Basis, Methode, gewählte Schicht und einen etwaigen Reparaturschritt.
  2. Prüf die Lizenz. Das abgeleitete Modell übernimmt normalerweise die Lizenz des Basismodells samt Nutzungsbeschränkungen.
  3. Wähl ein Format, das deine Laufzeitumgebung liest. GGUF-Dateien funktionieren mit Apps auf llama.cpp-Basis wie Ollama und LM Studio; safetensors mit Python-Stacks.
  4. Wähl die Größe passend zur Hardware. Ein 8B-Modell mit 4 Bit braucht grob 4–5 GB für die Gewichte, mehr bei langem Kontext.
  5. Vergleich mit dem Original. Gleiche Prompts, beide Modelle. Zähl die Ablehnungen, aber auch Faktenfehler und Qualitätseinbußen.

Wir verlinken bewusst keine einzelnen abliterierten Uploads und veröffentlichen keine Prompts, mit denen man die Regeln eines Modells oder Anbieters umgeht. Wähl aus dokumentierten Quellen und beurteile die Ergebnisse selbst.

Wann ein gehosteter Dienst ein abliteriertes Modell schlägt

Abliteration ist großartig, wenn du Modelle erforschen, komplett offline arbeiten oder jede Einstellung kontrollieren willst. Sie ist übertrieben, wenn du eigentlich nur einen Assistenten willst, der klar antwortet, Dark Fiction schreibt, ohne in Ohnmacht zu fallen, und weiß, was letzte Woche passiert ist.

  • Keine GPU kaufen, keine Dateien aktualisieren, keine Laufzeitumgebungen debuggen.
  • Größere Modelle, als die meisten Heim-Setups fassen.
  • Live-Websuche mit Quellen, die kein lokales Modell von Haus aus hat.
  • Bildgenerierung in derselben App (im Max-Tarif).

Das ist Unrestricted AI: ein Chat, der nur eine kurze, öffentliche Liste harter Grenzen ablehnt (Minderjährige, sexuelle oder gefälschte Bilder realer Personen, Hilfe dabei, anderen zu schaden), dazu Live-Websuche und, im Max-Tarif, Bilder. Nur für Erwachsene, kein Gratis-Tarif; siehe Tarife und Preise. Wenn du vergleichst: Unser Überblick über die besten unzensierten KI-Chatbots stellt die gehosteten Optionen nebeneinander, und unsere Seite zum unzensierten KI-Chat zeigt, wie ein Gespräch aussieht.

FAQ

Fragen, beantwortet.

Klare Antworten auf die Fragen, nach denen Menschen wirklich suchen.

Noch eine Frage?Stell sie direkt Unrestricted AI. Antwort ohne Moralpredigt.LoslegenNutzungsrichtlinien lesen →
10 Fragen
01Was bedeutet abliterated?

Abliterated, auf Deutsch abliteriert, beschreibt ein Sprachmodell, dessen Ablehnungsverhalten per Abliteration entfernt wurde: Forscher entdeckten, dass Ablehnung über eine einzige Richtung in den Aktivierungen gesteuert wird, und daraus wurde eine Gewichtsänderung, die diese Richtung löscht. Das Modell behält Wissen und Stil, lehnt aber größtenteils nicht mehr ab. Das Wort ist eine Community-Schöpfung, angelehnt an Ablation.

02Ist Abliteration dasselbe wie Finetuning?

Nein. Finetuning trainiert das Modell mit neuen Daten nach, was Datensatz, Rechenleistung und Fachwissen erfordert. Abliteration braucht kein Training: Sie misst eine Richtung anhand von zwei Prompt-Sets und projiziert sie aus den Gewichten heraus, oft in Minuten bis Stunden auf einer einzigen GPU. Manche hängen danach ein leichtes Finetuning an, um verlorene Qualität zu reparieren.

03Sind abliterierte Modelle schlechter als die Originale?

Meist ein wenig. Veröffentlichte Experimente zeigen Benchmark-Verluste nach der Abliteration, die ein anschließendes Preference-Finetuning teilweise ausgleicht. Neuere Tools versuchen, den Schaden zu begrenzen, indem sie das Verhalten bei harmlosen Prompts nah am Original halten. Wie hoch der Preis wirklich ist, hängt von Modell und Methode ab, also teste gegen das Basismodell mit deinen eigenen Aufgaben.

04Kann man ChatGPT oder andere geschlossene Modelle abliterieren?

Nein. Abliteration setzt die Gewichte des Modells und Zugriff auf seine internen Aktivierungen voraus. Geschlossene Modelle gibt es nur über eine App oder API, Nutzer können sie also nicht bearbeiten. Deshalb sind abliterierte Modelle immer Varianten von Open-Weight-Modellen. Willst du weniger Ablehnungen von einem gehosteten Assistenten, bleibt dir nur ein Dienst, der von Haus aus freizügig ist.

05Ist die Nutzung abliterierter Modelle legal?

Ein abliteriertes Open-Weight-Modell zu betreiben ist grundsätzlich legal, im Rahmen der Lizenz des Basismodells, die das abgeleitete Modell meist übernimmt. Was du damit erzeugst, unterliegt denselben Gesetzen wie alles andere. Wer Ablehnungen aus einem Modell entfernt, macht illegale Inhalte dadurch nicht legal, und die Verantwortung für die Ausgabe trägt, wer sie erzeugt und nutzt.

06Heißt es abliterated oder obliterated?

Abliterated, auf Deutsch abliteriert. Der Begriff ist eine Wortschöpfung aus der Community und spielt auf Ablation an, das Fachwort der Interpretierbarkeitsforschung für das Entfernen einer Komponente aus einem Modell. Weil es wie „obliterated“ klingt, suchen viele nach der falschen Schreibweise. Auf Hugging Face steht „abliterated“ meist hinter dem Namen des Basismodells. Beide Schreibweisen meinen dasselbe: ein Modell, aus dessen Gewichten die Ablehnungsrichtung entfernt wurde.

07Wie funktioniert Abliteration?

Sie findet die Richtung in den Aktivierungen eines Modells, die Ablehnungen auslöst, und entfernt sie. Dazu schickt man zwei Prompt-Sets durch das Modell, eines, das es ablehnt, und eines, das es beantwortet, und zieht die durchschnittlichen Aktivierungen voneinander ab. Das ergibt eine mögliche Ablehnungsrichtung. Man behält die Schicht, die am besten wirkt, und orthogonalisiert die Gewichte gegen diese Richtung, sodass das Modell sie nicht mehr ausdrücken kann. Neutraining ist nicht nötig, manche ergänzen aber ein leichtes Reparatur-Finetuning.

08Wie nutze ich ein abliteriertes Modell?

Wie jedes andere Open-Weight-Modell. Such die Variante auf Hugging Face und lies auf der Model Card Basismodell, Methode und Lizenz nach. Wähl ein Format, das deine Laufzeitumgebung liest: GGUF-Dateien funktionieren in Apps wie Ollama und LM Studio, safetensors in Python-Stacks. Passe die Größe an deinen Speicher an; ein 8B-Modell mit 4 Bit braucht etwa 4–5 GB für die Gewichte. Vergleiche es dann mit deinen eigenen Prompts mit dem Original.

09Gibt es ein unzensiertes LLM?

Ja, sogar mehrere Arten. Community-Finetunes und abliterierte Varianten von Open-Weight-Modellen werden auf Hugging Face veröffentlicht, und manche gehosteten Dienste bieten eigene an: Stand Oktober 2026 führt die Modellseite von Venice AI ein Modell namens Venice Uncensored. Keines ist in der Praxis frei von Grenzen, denn Lizenzen, Hosting-Bedingungen und Gesetze gelten weiterhin. Unser Ratgeber zu unzensierten LLMs vergleicht den lokalen Betrieb mit einem gehosteten Dienst.

10Was ist Qwen abliterated?

Eine von der Community erstellte Version eines der Open-Weight-Modelle von Qwen, der LLM-Familie von Alibaba Cloud, deren Ablehnungsrichtung per Abliteration entfernt wurde. Es ist keine offizielle Qwen-Veröffentlichung. Qualität und verbleibende Ablehnungen hängen davon ab, wer die Version wie erstellt hat. Lies also die Model Card für das genaue Basismodell, die Methode, einen eventuellen Reparaturschritt und die Lizenz, die das abgeleitete Modell meist übernimmt.

Stell die Frage, die du wirklich hast.

Viel weniger Ablehnungen, Live-Websuche und Bilder. Ein Abo.