🚀 Feature Request: H.264/H.265 Video Compression

[161sam]

---

name: '🚀 Feature Request: H.264/H.265 Video Compression'
about: 'Implement support for H.264/H.265 (HEVC) video compression in SmolDesk via WebRTC.'
title: '[Feature] Add H.264/H.265 Video Codec Support'
labels: enhancement, video, codecs
assignees: ''

---

Ziel

Implementierung von H.264 und H.265 (HEVC) Videokompression für SmolDesk, um die Streaming-Qualität und Effizienz insbesondere bei hoher Auflösung und niedriger Bandbreite zu verbessern.

Motivation

• Höhere Videoqualität bei geringerer Bitrate, besonders für 4K/8K-Streaming
• Reduzierung der Latenz und Verbesserung der Nutzererfahrung
• Bessere Hardware-Beschleunigung und Kompatibilität mit modernen Endgeräten

Anforderungen

• WebRTC-Codec-Negotiation für H.264 und H.265 implementieren
• Fallback auf VP8/VP9, falls H.265/H.264 nicht unterstützt wird
• Hardware-Encoding/Decoding (z.B. via WebCodecs API) nutzen, wenn verfügbar
• Lizenz- und Patentfragen für kommerzielle Nutzung prüfen
• Kompatibilität mit gängigen Browsern (Chrome, Safari, Edge) sicherstellen

Umsetzungsvorschlag

1. Prüfen, welche Codecs im Browser/Client unterstützt werden (RTCRtpSender.getCapabilities())
2. SDP-Offer/Answer für bevorzugte Codecs anpassen
3. Dynamische Bitratensteuerung und Keyframe-Intervalle für niedrige Latenz implementieren
4. Dokumentation und Testfälle für verschiedene Plattformen/Betriebssysteme ergänzen

Hinweise

• H.265 wird aktuell nur in wenigen Browsern nativ unterstützt, daher ist ein Fallback essenziell.
• Lizenzierung muss vor produktivem Einsatz geklärt werden.

Optional:
Bitte kommentieren, falls ihr Erfahrungen oder bestehende Lösungen für WebRTC + H.265/H.264 im Browserumfeld habt!

---

[161sam]

Lizenzierung von H.264/H.265

• H.264 (AVC):
  Patentiert, aber nutzbar über:

  • OpenH264 (Cisco): BSD-lizenziert, Cisco übernimmt MPEG-LA-Gebühren für binäre Distributionen [1][3].
    → Ideal für WebRTC-Implementierungen, da gebührenfrei für Endnutzer [2][3].
  • x264: GPL-lizenziert – inkompatibel mit SmolDesks MIT-Lizenz [5].

• H.265 (HEVC):
  Komplexere Patentlandschaft (mehrere Patentpools):

  • Gebührenpflichtig ab 100.000 Einheiten/Jahr (0,20$/Einheit) [4].
  • x265: GPL-lizenziert – ebenfalls inkompatibel mit MIT-Lizenz.

Implementierungsempfehlungen

1. H.264 via OpenH264:

   • Nutzung der binären Module von Cisco, um Lizenzgebühren zu vermeiden [1][3].
   • Beispiel-Code für WebRTC-Integration:

     const { RTCVideoSource } = require('wrtc');
     const openh264 = require('openh264');
     // Encoder-Initialisierung mit Cisco-Binary
     const encoder = new openh264.Encoder({ binaryPath: './cisco-openh264.bin' });

   • Vorteil: Keine Lizenzkosten für SmolDesk-Nutzer [2][3].

2. H.265 (HEVC):

   • Aktuell nicht empfehlenswert wegen:
     • Geringer Browser-Support (nur Safari 17.4+, Chrome experimental) [6].
     • Komplexe Lizenzkostenstruktur [4].
   • Stattdessen: VP9/AV1 als Fallback priorisieren (royalty-free, ~50% effizienter als VP8) [6].

Kompatibilität mit SmolDesk-Lizenz

• MIT-Lizenz [5] erlaubt kommerzielle Nutzung, aber:
  • Nutzung von GPL-Code (x264/x265) würde Lizenzinkompatibilität erzwingen → OpenH264-Binaries sind bevorzugt.
  • Eigenentwickelte H.264-Implementierung würde MPEG-LA-Gebühren auslösen (nicht Cisco-gedeckt) [1].

Umsetzungsplan

Schritt	Aktion
Codec-Negotiation	RTCRtpSender.getCapabilities() für H.264/VP9/AV1 prüfen [6]
Binary Integration	OpenH264-Binaries im Build-Prozess einbinden (Cisco-Distribution) [1]
Fallback-Logic	Prioritäten: H.264 > VP9 > AV1 > VP8
Hardware-Beschleunigung	WebCodecs API für Encoding/Decoding nutzen (bei Support)
Lizenzsicherheit	Nutzungsbedingungen dokumentieren: "Binaries von Cisco, keine Modifikation" [1]

Kritische Hinweise

• H.265-Support zurückstellen bis:
  • Browser-Support >80% erreicht (aktuell <30% [6]).
  • Lizenzkostenmodell für HEVC geklärt ist [4].
• VP9/AV1 als ökonomisch sicherere Alternativen implementieren (royalty-free, hohe Effizienz) [6].

Diese Lösung balanciert Leistungsansprüche mit Lizenzkonformität und vermeidet Risiken für das MIT-lizenzierte Projekt. Bei Umsetzung bitte Testfälle für Browserkompatibilität (Chrome/Safari/Edge) ergänzen.