Was bedeutet Latenz im Videobereich?
Bei der Übertragung digitaler Inhalte von einem Medium auf ein Display muss immer mit einer gewissen Latenz gerechnet werden. Damit ist die Zeitspanne gemeint, die zwischen dem Senden eines Signals (der Aufnahme eines Bildes) und dem Anzeigen des jeweiligen Inhaltes auf dem Bildschirm verstreicht. Grund für diese Verzögerung sind die verschiedenen Verarbeitungsstufen, die immer eine kurzfristige Speicherung der zu übermittelnden Daten erfordern.
Die Latenz wird immer in Zeiteinheiten ausgedrückt, zum Beispiel in Sekunden oder Millisekunden. Es gibt dabei keinen universellen Wert, der eine sehr niedrige oder zu hohe Latenz definiert. Das, was als akzeptable Latenz gilt, variiert je nach Szenario und Anwendung.
Bei einer PowerPoint-Präsentation zum Beispiel ist eine niedrige Latenz (also eine schnelle Reaktionszeit) in aller Regel nicht essenziell. Ob das Publikum die nächste Folie auf dem Bildschirm sieht unmittelbar nachdem der Vortragende auf den Knopf seiner Fernbedienung gedrückt hat oder erst mit einer Sekunde Verzögerung, ist in diesem Fall nicht folgenschwer.
Anders sieht es aber aus, wenn zum Beispiel auf einer LED-Wand Livebilder gezeigt werden wie es bei einem Konzert der Fall ist. Das Bild wird in diesem Szenario an die LED-Wand gesendet, der Ton an die Boxen. Gibt es hier einen Unterschied bei den Verarbeitungszeiten, das heißt unterschiedliche Latenzen, werden die beiden Signale versetzt ausgegeben und die Lippensynchronität wird gebrochen. Das wirkt dann irritierend auf das Publikum.
Designziel für jedes System, bei dem eine Echtzeit-Interaktion mit dem Videoinhalt stattfindet, sollte daher immer eine besonders niedrige Latenz sein.
Wie tolerant sind wir gegenüber einer solchen audiovisuellen Asynchronität?
Wie groß muss der Bild/Ton-Versatz aber genau sein, damit er uns auffällt? Die Konvertierung von Einzelbildern in Zeit hängt von der Bildfrequenz des Videos ab. Ab etwa 14 bis 16 Bildern pro Sekunde (frames per second = fps) nimmt das menschliche Gehirn aufeinanderfolgende Bilder als bewegt wahr. Eine höhere Bildfrequenz sorgt für eine ruckelfreie Wahrnehmung. Mit der Einführung des Tonfilms wurde diese auf 24 fps festgelegt.
Mittlerweile sind deutlich höhere Bildfrequenzen möglich, 50 fps und mehr für viele Anwendungen sogar üblich. Wird in diesem Fall das Anzeigen auf dem LED-Bildschirm um genau ein Bild verzögert, entspricht das einer Latenzzeit von 1/50 Sekunde oder 20 Millisekunden.
Nach einer Empfehlung der Europäischen Rundfunkunion sollte der Versatz nicht mehr als 40 ms vor oder 60 ms nach dem tatsächlichen Synchronpunkt liegen, damit die Lippensynchronität bewahrt wird. Bei Videoinhalten mit einer Bildfrequenz von 50 fps beginnt die Bemerkbarkeit von Asynchronität also ab einem Versatz von zwei bis drei Bildern.
Wie hoch ist die relative Latenz einer LED-Wand?
Um den wichtigen Zusammenhang der Latenz für Sie greifbarer zu machen, wollen wir unsere LED-Systeme auf den Prüfstand stellen und die relativen Latenzen verschiedener Komponenten- und Einstellungskombinationen ermitteln. Dafür testen wir das Zusammenspiel unserer Sende- und Empfängerkarten mit den Konfigurationsmöglichkeiten, die wir mit der Controller-Software vornehmen können.
Der Aufbau für unsere Testreihen sieht dabei wie folgt aus: Ein iPad mit einer Bildwiederholungsrate von 60 Hz wird über einen HDMI-Splitter und zwei verschiedene Controller an zwei LED-Wände angeschlossen. Auf dem iPad lassen wir eine Stoppuhr mit Millisekunden-Anzeige laufen. Bei 60 Hz entsprechen 16,7 ms einem Frame – das bedeutet, dass alle 16,7 ms ein neues Bild auf der LED-Wand angezeigt wird.
Das iPad schickt das Signal also via HDMI an einen Splitter, der es wiederum an die NovaStar Controller verteilt, welche über Netzwerkkabel schließlich die LED-Module ansteuern.
Um Unterschiede zwischen den jeweiligen Hardware-Kombinationen und deren Einstellungen festzustellen, filmen wir die Screens mit einer Hochgeschwindigkeitskamera ab und vergleichen im Nachhinein das Material.
NovaStar MCTRL660; Quelle: LEDTEK (E)
Aufbau Latenztest; Quelle: LEDTEK (E)
In unserem Experiment testen wir zwei LED-Wände in Kombination mit verschiedenen Controllern: Die P2+sBL, die wie unsere PRO-Serie eine A8s-Empfängerkarte mit Low Latency Funktion nutzt und die P3+sBL mit einer MRV-210-Karte und ohne einen solchen Modus. Folgende NovaStar Controller werden dabei eingesetzt:
Reine Sendekarten: MCTRL4K, MCTRL660, MCTRL300
All-in-One Controller: NovaPro UHD, NovaPro UHD Jr, VX4S, VX6S
Medienplayer mit Scalerfunktion: Taurus TB6
Exkurs: Der Low Latency Modus (LLM)
NovaStar-Produkte sind dafür konzipiert, geringe Latenzzeiten bei der Übertragung digitaler Inhalte zu ermöglichen. Viele der Geräte verfügen zusätzlich über einen sogenannten Low Latency Mode, der die Latenz bis zu 2 Frames verringert. Dazu gehören zum Beispiel der MCTRL4K- und die UHD-Controller sowie die Empfängerkarten der Armor-Serie.
Eingeschaltet werden kann dieser Modus jeweils für Sende- und Empfängerkarte über die NovaLCT-Schnittstelle, mit der sich die LED-Wand programmieren lässt.
NovaLCT – Low Latency Mode; Quelle: LEDTEK (E)
Auch wenn – wie bei unserer P3+sBL der Fall – eine Empfängerkarte ohne LLM-Unterstützung genutzt wird, ist es dennoch ratsam den Modus für die Sendekarte des Controllers einzuschalten. So lässt sich die Latenz um etwa 1 Frame verringern.
Achten muss man in jedem Fall auf die Verkabelung der Wand: Maximal 512 Pixel breit darf die verkabelte Fläche messen, damit der LLM funktioniert.
Gehen wir einmal von einer 3 x 4 Meter großen Wand aus P3-Modulen aus. Vier dieser Module nebeneinander ergeben 512 Pixel in der Breite. Ein Datenkabel für die P3 kann 10 m² bedienen. Würden wir den Low-Latency-Modus nicht nutzen wollen, könnten wir so verkabeln:
Soll der LLM genutzt werden, müssten wir wegen der beschränkten Breite wie folgt vorgehen:
NovaLCT – Modulverkabelung; Quelle: LEDTEK (E)
Festlegen eines Referenzwertes
Uns interessiert, wie groß der Unterschied zwischen den Low Latency Geräten und der Hardware ohne diese Funktion ausfällt. Zunächst wollen wir sicherstellen, dass unser Versuchsaufbau problemlos und synchron funktioniert und einen Referenzwert festlegen. Hierfür nutzen wir unsere schnellste Konstellation: Eine P2+sBL mit MCTRL4K Controller und Sende- und Empfängerkarte im Low Latency Modus.
Bei unserem Versuchsaufbau spielt ein iPad einen Millisekundenzähler ab, der über einen HDMI-Splitter auf zwei identische MCTRL4K Controller verteilt und von diesen auf zwei identische P2+sBL-Module ausgebeben wird.
Versuchsaufbau Latenztest; Quelle: LedTek (YouTube) (E)
Wie in obenstehendem Video zu sehen ist, laufen die beiden Bildschirme frame-genau synchron. Wir können also mit unseren Testreihen beginnen.
Testreihen
In unseren Testreihen widmen wir uns nun den verschiedenen Kombinations- und Einstellungsmöglichkeiten unserer Hardware. Es sei noch einmal daran erinnert, dass unsere beiden LED-Module über unterschiedliche Empfängerkarten verfügen. Die P2+sBL hat die A8s verbaut, welche über einen LLM verfügt. Die P3+sBL dagegen nutzt eine MRV-210 Karte, die ohne diesen Modus arbeitet. Testen wir mit der P3, haben wir folglich nur die Möglichkeit den LLM für die Sendekarte des Controllers einzuschalten.
1. Testreihe: MCTRL4K
| Modul | LLM Sendekarte | LLM Empfängerkarte | Gemessene Latenz |
|---|---|---|---|
| P2+sBL | Aus | Aus | 29 ms (ca. 1,5 Frames) |
| P2+sBL | An | Aus | 17 ms (ca. 1 Frame) |
| P2+sBL | Aus | An | 12 ms (< 1 Frame) |
| P2+sBL | An | An | 0 ms |
| P3+sBL | Aus | nicht vorhanden | 30 ms (ca. 2 Frames) |
| P3+sBL | An | nicht vorhanden | 17 ms (1 Frame) |
Der MCTRL4K ist im Zusammenspiel mit der P2 unser schnellster Controller und dient als Referenz für die anderen Testreihen. Ist der LLM nur am Sender eingeschaltet, sind die P2 und die P3 gleich schnell. Schalten wir den LLM des P2-Empfängers hinzu, beträgt der Unterschied zueinander 1 Frame.
Die Differenz zur schnellstmöglichen Konstellation (LLM bei Sender und Empfänger angeschaltet) und zur langsamsten (beides aus) beträgt 2 Frames.
2. Testreihe: UHD Jr
| Modul | LLM Sendekarte | LLM Empfängerkarte | Gemessene Latenz |
|---|---|---|---|
| P2+sBL | An | An | 16-26 ms (ca. 1 Frame) |
| P2+sBL | Aus | Aus | 46-53 ms (ca. 3 Frames) |
| P2+sBL | Aus | An | 30-45 ms (ca. 2 Frames) |
| P2+sBL | An | Aus | 32-46 ms (ca. 2 Frames) |
| P3+sBL | Aus | nicht vorhanden | 49-56 ms (ca. 3,5 Frames) |
| P3+sBL | An | nicht vorhanden | 40-47 ms (ca. 2,5 Frames) |
Beim UHD Jr fällt das Ergebnis ganz ähnlich aus: Kein nennenswerter Unterschied ohne Low Latency Modus am Modul und etwa 1 Frame Differenz bei aktivem LLM an der P2. Die etwas ungenaueren Ergebnisse liegen an den nicht hundertprozentig konstant arbeitenden FPGA-Boards, die in den Scalern verbaut sind. Der UHD Jr ist etwa 1,5 Frames langsamer als die 4K-Sendekarten.
Achtung! Beim UHD Jr muss der LLM am Gerät eingeschaltet werden. Das Aktivieren über die NovaLCT-Software hat zwar keine Fehlermeldung zufolge, übernommen werden die Einstellungen aber nicht. NovaStar arbeitet bereits an einer Lösung (Stand: 4. September 2020).
3. Testreihe: UHD (2K-HDMI-Eingang)
| Modul | LLM Sendekarte | LLM Empfängerkarte | Gemessene Latenz |
|---|---|---|---|
| P2+sBL | An | An | 25-36 ms (ca. 2 Frames) |
| P2+sBL | Aus | Aus | 61-67 ms (ca. 4 Frames) |
| P2+sBL | Aus | An | 44-53 ms (ca. 3 Frames) |
| P2+sBL | An | Aus | 40-57 ms (ca. 3 Frames) |
| P3+sBL | Aus | nicht vorhanden | 61-67 ms (ca. 4 Frames) |
| P3+sBL | An | nicht vorhanden | 40-57 ms (ca. 3 Frames) |
4. Testreihe: UHD (4K-HDMI-Eingang)
| Modul | LLM Sendekarte | LLM Empfängerkarte | Gemessene Latenz |
|---|---|---|---|
| P2+sBL | An | An | 28-36 ms (ca. 2 Frames) |
| P2+sBL | Aus | Aus | 60-74 ms (ca. 4 Frames) |
| P2+sBL | Aus | An | 41-55 ms (ca. 3 Frames) |
| P2+sBL | An | Aus | 43-55 ms (ca. 3 Frames) |
| P3+sBL | Aus | nicht vorhanden | 60-74 ms (ca. 4 Frames) |
| P3+sBL | An | nicht vorhanden | 43-55 ms (ca. 3 Frames) |
Die Ergebnisse für den 2K- und den 4K-Eingang des UHD unterscheiden sich kaum. Auch hier rühren die ungenaueren Werte von den nicht ganz konstant arbeitenden FPGA-Boards der Scaler. Der UHD hat einen größeren Funktionsumfang als der Jr und braucht dementsprechend mehr Zeit für seine Berechnungen, was sich mit 1 Frame Differenz bemerkbar macht.
5. Testreihe: VX4S (HDMI)
| Modul | LLM Sendekarte | LLM Empfängerkarte | Gemessene Latenz |
|---|---|---|---|
| P2+sBL | nicht vorhanden | Aus | 41-53 ms (ca. 3 Frames) |
| P2+sBL | nicht vorhanden | An | 19-34 ms (ca. 2 Frames) |
| P3+sBL | nicht vorhanden | nicht vorhanden | 43-54 ms (ca. 2,5 Frames) |
6. Testreihe: VX6S (HDMI)
| Modul | LLM Sendekarte | LLM Empfängerkarte | Gemessene Latenz |
|---|---|---|---|
| P2+sBL | nicht vorhanden | Aus | 49-63 ms (ca. 3,5 Frames) |
| P2+sBL | nicht vorhanden | An | 36-49 ms (ca. 2,5 Frames) |
| P3+sBL | nicht vorhanden | nicht vorhanden | 48-54 ms (ca. 3 Frames) |
Der VX6S ist minimal langsamer als der VX4S. Das liegt an seinem leistungsstärkeren Videoprozessor und führt zu 0,5 Frames mehr Latenz als bei seinem kleinen Bruder. Ob der Scaler der beiden Geräte angeschaltet ist, macht hier keinen Unterschied.
7. Testreihe: MCTRL300 (DVI/HDMI-Konvertierer)
| Modul | LLM Sendekarte | LLM Empfängerkarte | Gemessene Latenz |
|---|---|---|---|
| P2+sBL | nicht vorhanden | Aus | 30 ms (ca. 2 Frames) |
| P2+sBL | nicht vorhanden | An | 13 ms (<1 Frame) |
| P3+sBL | nicht vorhanden | nicht vorhanden | 30 ms (ca. 2 Frames) |
8. Testreihe: MCTRL660 (HDMI)
| Modul | LLM Sendekarte | LLM Empfängerkarte | Gemessene Latenz |
|---|---|---|---|
| P2+sBL | nicht vorhanden | Aus | 30 ms (ca. 2 Frames) |
| P2+sBL | nicht vorhanden | An | 13 ms (<1 Frame) |
| P3+sBL | nicht vorhanden | nicht vorhanden | 30 ms (ca. 2 Frames) |
Alle MCTRL-Sendekarten laufen konstant und gleich schnell.
9. Testreihe: TB6 (Scaler aus)
| Modul | LLM Sendekarte | LLM Empfängerkarte | Gemessene Latenz |
|---|---|---|---|
| P2+sBL | nicht vorhanden | Aus | 30 ms (ca. 2 Frames) |
| P2+sBL | nicht vorhanden | An | 13 ms (<1 Frame) |
| P3+sBL | nicht vorhanden | nicht vorhanden | 30 ms (ca. 2 Frames) |
Ohne laufende Scalerfunktion kommt der TB6 auf die gleichen Ergebnisse wie unsere reinen Sendekarten.
10. Testreihe: TB6 (Scaler an)
| Modul | LLM Sendekarte | LLM Empfängerkarte | Gemessene Latenz |
|---|---|---|---|
| P2+sBL | nicht vorhanden | Aus | 30 ms (ca. 2 Frames) |
| P2+sBL | nicht vorhanden | An | 13 ms (<1 Frame) |
| P3+sBL | nicht vorhanden | nicht vorhanden | 30 ms (ca. 2 Frames) |
Die größte Überraschung in unserem Test: Auch mit aktivem Scaler wird der TB6 nicht langsamer.
Zusammenfassung & Fazit
Wir haben die relativen Latenzen verschiedener NovaStar Controller in Kombination mit unseren P2- und P3-Modulen gemessen. Als Referenz diente dabei der MCTRL4K Controller, der zunächst einem Synchron-Test unterzogen wurde.
Erkenntnisse:
- Die P2 und die P3 laufen gleich schnell, wenn der Low Latency Modus an der Empfängerkarte der P2 ausgeschaltet ist. Ist LLM aktiv, beträgt der Unterschied 1 Frame. Ein weiteres Frame geht verloren, wenn der Controller den LLM nicht unterstützt
- In den meisten Scalern sind FPGA-Boards verbaut, deren Berechnungsgeschwindigkeiten variieren und daher leicht unterschiedliche Ergebnisse liefern. Bei größeren Projekten sollten Scaler nicht miteinander kaskadiert werden, da nicht sichergestellt werden kann, dass der Bildaufbau hunderprozentig synchron stattfindet. Stattdessen ist zu einem großen Scaler/Videoprozessor zu raten.
- Der Scaler des Taurus TB6 nutzt kein FPGA-Board, sondern eine codebasierte Berechnung. Er ist eine günstige Alternative für das Anzeigen von Livebildern. Unser Test zeigt, dass auch mit eingeschalteter Scalerfunktion keine zusätzliche Latenz hinzukommt. An sich ist der TB6 wegen seiner Schnelligkeit für Liveübertragungen perfekt geeignet. Leider läuft er ausschließlich mit 60 Hz, was bei Kamerabildern zu Problemen führen kann. Ein künftiges Softwareupdate von NovaStar könnte diesem Problem Abhilfe schaffen.
- Reine Sendekarten sind die beste Möglichkeit, wenn so wenig Latenz wie möglich entstehen soll. In einem Regie-Szenario mit verwendetem Videomischpult beispielsweise wäre diese Option am geeignetsten. Hintereinander geschaltete Scaler wären hier kontraproduktiv und würden die Latenz erhöhen.
- All-in-One-Controller haben einen weit größeren Funktionsumfang und brauchen dementsprechend länger für ihre Berechnungen. Das macht sich in Form von höheren Latenzen bemerkbar. Mit der Low Latency Funktion können in diesem Fall verlorene Frames wieder reingeholt werden.
In unserem Experiment haben wir die Latenz vom Sender bzw. Controller zum Empfänger bzw. Modul gemessen. Unser Versuchsaufbau (iPad -> Sendekarte -> LED-Modul) bringt aber schon von sich aus eine Latenz von 3 Frames mit. Ob diese ~50 ms vom iPad, den HDMI-Kabeln oder anderen Komponenten verursacht werden, testen wir in Kürze in einer weiteren Versuchsreihe.
Abschließend folgt eine Zusammenfassung als Video. Mögliche Unterschiede zu den im Text genannten Messergebnissen sind auf die leicht schwankend arbeitenden FPGA-Boards der Scaler zurückzuführen.
LEDTEK Kundenservice
Sie fragen sich welche Hardware-Kombination für Ihren Zweck die richtige Wahl ist? Melden Sie sich bei uns und wir helfen Ihnen gerne weiter. Telefonisch sind wir unter +49 551 492 493 44 erreichbar. Oder schreiben Sie uns eine Mail an vertrieb@ledtek.de. Wir freuen uns auf Sie! Bis dahin können Sie einen Blick auf unser Serviceangebot aus der 3-Jahres LEDTEK Garantie, einem 48h-Ersatzteileservice und dem 24 Stunden erreichbaren Serviceportal werfen. Sie finden alles dazu auf unserem Newsblog und in unseren FAQs.
Beitragsbild: @agebarros, unsplash.com
