Echtzeitübertragung und Streaming von Video in paketorientierten drahtlosen Mehrbenutzer-Netzwerken
Zusammenfassung der Projektergebnisse
Das von der DFG geförderte Gemeinschaftsvorhaben „Echtzeitübertragung und Streaming von Video in paketorientierten drahtlosen Mehrbenutzer-Netzwerken“ wurde in zwei Phasen bearbeitet. Während der im Rahmen des Schwerpunktprogramms AKOM geförderten ersten Phase wurden von beiden Projektpartnern umfangreiche Untersuchungen zur paketorientierten Übertragung von digitalen Videodaten in mobilen Mehrbenutzersystemen durchgeführt. Der Schwerpunkt der Arbeiten am LNT (Prof. Hagenauer) lag hierbei auf der Modellierung und Simulation von Mehrbenutzer-Mobilfunkkanälen sowie der Untersuchung von effizienten Ressourcenzuteilungsverfahren direkt an der Luftschnittstelle für Videostreaming-Verkehr. Bei der Kanalmodellierung/-simulation wurde ein zweistufiger Ansatz verwendet, mit bit- bzw. chip-genauer Auflösung von Einflussfaktoren auf der Link-Ebene (für einen festen Operationspunkt) und blockbasierter Auflösung auf der System-Ebene (für von Block zu Block veränderliche Operationspunkte). Die Kombination beider Modelle liefert dann die aktuelle Übertragungsqualität (z.B. in Form eines Blockfehlerindikators) für beliebig komplexe Szenarien (mehrere Nutzer, unterschiedliche Dienste, usw.). Diese schwankende Übertragungsqualität diente dann als Ausgangspunkt für den Entwurf kombinierter Puffermanagement- und Scheduling-Verfahren, die es ermöglichen, auch bei knapp werdenden Ressourcen (schlechter Kanal und/oder zu hohes Verkehrsaufkommen der Nutzer) zumindest eine Basisqualität der einzelnen Videoströme zu gewährleisten. Ergänzt wurden die Arbeiten durch die Erweiterung eines existierenden Modells für die zeitlichen Abhängigkeiten der einzelnen Elemente innerhalb eines Videostroms um deren jeweiliges relatives Gewicht im Hinblick auf die maximal erzielbare Qualität des gesamten Stroms. Dies erlaubt die Definition einer applikationsspezifischen Metrik, die prinzipiell als Seiteninformation für die unteren Protokollschichten bei der dynamischen Ressourcenzuteilung geeignet zu sein scheint. Der Schwerpunkt der Arbeiten am Fachgebiet Medientechnik (Prof. Steinbach) lag auf Methoden der adaptiven Übertragung bzw. des gezielten Abwurfes von Information im Falle einer Überlastsituation. Für die mobile Echtzeitvideokommunikation wurde insbesondere untersucht, welche Vorteile sich durch zusätzliche Verarbeitungskapazitäten auf einem Proxy-Server (z.B. an der Basisstation) ergeben. In diesem Zusammenhang wurden zwei neue Verfahren vorgestellt, die zu einer verbesserten Fehlerrobustheit der Anwendung im Vergleich zum Stand der Technik führen. Für das weniger zeitkritische Video Streaming wurde ein generischer Ansatz entwickelt, wie auf einem aktiven Netzknoten eine raten-verzerrungsoptimierte Entscheidung über das gezielte Verwerfen von Videobildern getroffen werden kann. Der vorgeschlagene Optimierungsansatz arbeitet mit Seiteninformation vom Streaming Server und dem aktuellen Füllstand der Ausgangspuffer. Der Ansatz betrachtet mehrere ankommende und auf dem gleichen Ausgang zu übertragende Videoströme und führt die Raten-Verzerrungsoptimierung über alle Videoströme hinweg durch. Während der anschließend von der DFG im Normalverfahren geförderten zweiten Projektphase untersuchten beide Partner einige erweiterte Fragestellungen, die sich direkt aus den Ergebnissen der ersten Phase ableiten ließen: Der Gruppe am LNT (Prof. Hagenauer) gelang es, applikationsspezifische Seiteninformation nicht nur beim Puffermanagement, sondern auch bei der Ressourcen-Allokation in der Basisstation zu verwenden. Dies erlaubt nun, möglichst vielen Mobilteilnehmern in der Zelle eine akzeptable Videostreaming-Qualität zu gewährleisten und gleichzeitig die limitierte Bandbreite so gut wie möglich auf die verschiedenen Nutzer aufzuteilen. Außerdem konnte gezeigt werden, dass sich die propagierten Lösungsansätze durch Modifikation der Metrikberechnung auch auf Szenarien mit gemischtem Video- und Datenverkehr anwenden lassen. Die Gruppe im Fachgebiet Medientechnik (Prof. Steinbach) vertiefte ihre bisherigen Ansätze zum Einsatz eines Proxy-Servers an der Basisstation. Im Rahmen dieser Arbeiten wurden drei erweiterte Verfahren vorgestellt: Das erste zielt auf die Verbesserung der Fehlerrobustheit bei extrem echtzeitkritischen Anwendungen wie Videotelefonie durch Verwendung slicebasierter Reference-Picture-Selection. Bei etwas weniger hohen Anforderungen an die maximale Verzögerung (z.B. bei Streaming-Anwendungen) kann das zweite Verfahren zum Einsatz kommen. Dieses beinhaltet Datencaching im Proxy für die zur Zeit am meisten gefragten Inhalte, um die Wartezeit nach dem Anfordern eines Videostreams zu minimieren und das subjektive Gefühl von Interaktivität beim Nutzer zu erhöhen. Das dritte Verfahren schließlich stellt eine Erweiterung des bereits in der ersten Phase vorgestellten Algorithmus zum raten-verzerrungsoptimierten Frame-Dropping von Streamingverkehr auf extrem echtzeitkritischen Videoverkehr dar. Der Schwerpunkt der Arbeiten während der zweiten Phase konzentrierte sich jedoch auf die Kombination ausgewählter Verfahren beider Gruppen in einem gemeinsamen Ansatz. Zu diesem Zweck wurde der Proxy-Server an der Basisstation mit dem Puffermanagement und der Ressourcenallokation an der Luftschnittstelle verbunden. Die Aufgabe des Proxy liegt nun einzig und allein in der Ratenanpassung des einlaufenden Videoverkehrs auf der Netzwerkschicht (IP Schicht) auf der Basis der mitgelieferten applikationsspezifischen Seiteninformation. Die einzige zusätzliche Anforderung an die tieferen Schichten ist die Verfügbarkeit von Pufferfüllstand und aktuell gemessener mittlerer Übertragungsrate pro Nutzer auf der Luftschnittstelle. Da der Proxy durch optimale Ratenanpassung nur die wichtigen Daten im Videostrom weiterleitet und gleichzeitig sowohl ein Unter- als auch ein Überlaufen der nachfolgenden Puffer weitestgehend verhindert, verringern sich sowohl die Anforderungen an die Schicht 2, als auch die Menge an benötigter Seiteninformation im Vergleich zu den bisher vom LNT propagierten Verfahren. Im Rahmen der gemeinsamen Untersuchungen konnte gezeigt werden, dass es bereits bei einfachen Scheduling-Algorithmen wie Maximum-Throughput und Proportional-Fair zu deutlichen Verbesserungen v.a. bei der Fairness zwischen den Nutzern (bester Proxy-Algorithmus: JOP) im Vergleich zu bisher propagierten Schicht2-Puffermanagementstrategien (z.B. DXP) kommt.
Projektbezogene Publikationen (Auswahl)
- “Proxy-based error tracking for H.264 based real-time video transmission in mobile environments,” in Proc. International Conference on Multimedia& Expo (ICME’04), Taipei, Taiwan, June 2004
W. Tu, and E. Steinbach
- “Rate-distortion optimized video frame dropping on active network nodes,” in Proc. International Packet Video Workshop (PV’04), Irvine, CA, Dec. 2004
W. Tu, W. Kellerer, and E. Steinbach
- Radio link buffer management and scheduling for wireless video streaming,” Springer Science & Business Media Telecommunication Systems, vol. 30, no. 1-3, pp. 255–277, Nov. 2005
G. Liebl, H. Jenkac, T. Stockhammer, and C. Buchner
- “Deadline-aware scheduling for wireless video streaming,” in Proc. International Conference on Multimedia& Expo (ICME’05), Amsterdam, Netherlands, July 2005, pp. 470–473
G. Liebl, M. Kalman, and B. Girod
- “Joint buffer management and scheduling for wireless video streaming,” in Proc. 4th International Conference on Networking (ICN 2005), La Reunion, Apr. 2005, pp. 882–891
G. Liebl, H. Jenkac, T. Stockhammer, and C. Buchner
- “Proxy-based reference picture selection for real-time video transmission over mobile networks,” in Proc. International Conference on Multimedia& Expo (ICME’05), Amsterdam, Netherlands, July 2005
W. Tu, and E. Steinbach
- “Channel- and application-aware transmission of mixed traffic over wireless shared channels,” in Proc. NEWCOM-ACoRN Joint Workshop 2006, Vienna, Austria, Sept. 2006
G. Liebl
- “Rate-distortion optimized frame dropping and scheduling for multiuser conversational and streaming video,” Journal of Zhejiang University SCIENCE A, Special Issue for Selected Papers (Part 1) of 15th International Packet Video Workshop (PV2006), vol. 7, no. 5, pp. 864–872, May 2006
W. Tu, J. Chakareski, and E. Steinbach
- “A flexible starting point based partial caching algorithm for video on demand,” in Proc. International Conference on Multimedia& Expo (ICME’07), Beijing, China, July 2007
L. Shen, W. Tu, and E. Steinbach
- “Proxy-Based transmission strategies for wireless video streaming,” International Packet Video Workshop (PV’07), Lausanne, Switzerland, Nov. 2007
G. Liebl, W. Tu, and E. Steinbach
- “RD-optimized rate shaping for multiple scalable video streams,” in Proc. International Conference on Multimedia& Expo (ICME’07), Beijing, China, July 2007
R. Mahalingam, W. Tu, and E. Steinbach
