Guide

Warum Video vor dem Encoding entrauschen?

Von Dirk Hildebrandt, CTO von Wavelet Beam

Rauschen ist zufällig. Ein Encoder kann es nicht vorhersagen und gibt dafür Bits aus, die beim Zuschauer nie als echte Bildinformation ankommen. Bei realem Material beanspruchen Rauschen und Filmkorn allein bis zu 30 % des Bitratenbudgets. Dieser Guide erklärt, wohin diese Bits gehen, warum blockbasierte Codecs besonders leiden und wie man Rauschen entfernt, ohne Details zu verlieren.

Rauschen stört die Bewegungsvektoren

Moderne Encoder sparen die meisten Bits durch zeitliche Vorhersage: Ein Block im aktuellen Bild wird als verschobener Block aus einem vorherigen Bild plus einem kleinen Rest beschrieben. Das funktioniert, weil sich echter Bildinhalt vorhersagbar bewegt. Rauschen nicht. Jedes Bild bringt ein neues Zufallsmuster mit, der Rest bleibt groß, egal wie gut die Vorhersage ist.

Schlimmer noch: Die Bewegungssuche selbst wird gestört. Rauschen wird als Bewegung fehlinterpretiert, der Encoder wählt falsche Bewegungsvektoren, und der Rest wächst weiter. Am stärksten ist das in flachen und dunklen Bereichen, wo das echte Signal im Vergleich zur Rauschamplitude schwach ist. Genau dort zeigen HDR-Inhalte mehr Details als je zuvor, und genau dort sehen Zuschauer Artefakte zuerst.

Warum blockbasierte Codecs leiden

H.264, HEVC und VVC teilen das Bild in Blöcke, zerlegen jeden Block in Frequenzen und quantisieren sie. Die hohen Frequenzen, in denen Rauschen und Filmkorn liegen, werden am stärksten quantisiert. Das Ergebnis ist bekannt: im besten Fall glatte, plastische Flächen, im schlimmsten Fall Blockbildung und Banding.

Rauschen verstärkt außerdem die Verzerrungen zwischen den Blöcken. Niederfrequente Anteile reichen über größere Flächen und reagieren empfindlich auf Blockgrenzen, Rauschen macht die Kanten der Blöcke sichtbar. Entrauschen vor dem Encoding mildert diesen Effekt bei jedem blockbasierten Codec. Bei Filmmaterial mit gewolltem Korn kann das Korn vor dem Encoding entfernt und bei der Wiedergabe mit AV1 Film Grain Synthesis wieder hinzugefügt werden.

Rauschen im statistischen Multiplex

Im Broadcast teilen sich oft mehrere Programme einen Transportstrom mit fester Gesamtbitrate. Der Multiplexer gibt dem Programm mehr Bits, das sie gerade braucht. Ein verrauschtes Programm wirkt immer komplex und nimmt seinen Nachbarn Bits weg. Ein einziger verrauschter Kanal kann die Bildqualität mehrerer anderer senken. Wird die verrauschte Quelle bereinigt, steigt die Qualität des gesamten Multiplex.

Entrauschen ohne Detailverlust

Schwierig ist nicht das Entfernen des Rauschens, sondern alles andere zu behalten. Bildinformation ist Teil des Grundrauschens: feine Texturen, Hautdetails und Filmstruktur liegen auf derselben Amplitude wie das Rauschen. Ein klassischer räumlicher oder zeitlicher Filter kann beides nicht unterscheiden und glättet beides. Die Bitrate sinkt, aber die Auflösung auch, und die Einsparung wird mit Details bezahlt.

IRIS geht anders vor: Es trennt Rauschen von echtem Bildinhalt und hebt das Signal aus dem Grundrauschen heraus. Die wahrgenommene Auflösung steigt statt zu sinken. Deshalb ist auch der Begriff "visuell verlustfrei" irreführend: Selbst Kompressionsraten unter 10:1 kosten Bildinformation. Je weniger Rauschen der Encoder tragen muss, desto mehr vom echten Bild bleibt erhalten.

Wo in der Kette entrauschen?

Die Rauschunterdrückung muss nicht in jeder Stufe laufen. Es gibt drei wirkungsvolle Einstiegspunkte:

• Quellenorientiert: RAW-Daten vor dem Debayering und vor der kreativen Pipeline mit IRIS.RAW und BRAW2IRIS entrauschen. Das ergibt den besten Signal-Rausch-Abstand für Grading und Compositing.
• Masterorientiert: ein Zwischenformat wie FFV1 oder ProRes nach Grading und VFX bereinigen.
• Distributionsorientiert: pro Shot direkt vor dem Encoder entrauschen, kombiniert mit Per-Shot-Encoding, oder in Echtzeit für die Live-Produktion mit IRIS.Broadcast.

Ein in 4K produziertes Signal kann einmal entrauscht und dann für jede niedrigere Auflösung herunterskaliert werden. Second Screens haben kein eingebautes Entrauschen oder Deblocking, deshalb verbessert die Optimierung an der Quelle jeden Simulcast-Ausspielweg.

Wie man das Ergebnis misst

Standardmetriken vergleichen einen Encode mit seiner Quelle und werten jeden Unterschied als Fehler, auch das entfernte Rauschen. Gegen das verrauschte Original fällt ein entrauschter Encode beim PSNR in den Bereich von 30 dB, nur weil das entfernte Rauschen als Verlust zählt. VMAF dagegen ist für hochfrequentes Rauschen weitgehend blind und bewertet eine entrauschte Datei gegen das Original mit 98 bis 100.

Für einen fairen Vergleich dient die entrauschte Quelle als Referenz für den entrauschten Workflow und das Original als Referenz für den Standard-Workflow. Dann vergleicht man die Stabilität der Qualität, nicht nur den Mittelwert, zum Beispiel mit QBVE. In einer kritischen, dunklen Szene aus Netflix "Meridian" mit 9,6 Mbit/s in UHD HEVC senkte die Entrauschung mit IRIS den Anteil der Frames unter VMAF 93 von 25,73 % auf 13,29 % und den Anteil unter 40 dB PSNR von 51,62 % auf 10,15 %. Mehr zu Metriken im Guide VMAF-Mittelwert, harmonisches Mittel, 1% Low und QBVE.