1. Diese Seite verwendet Cookies. Wenn du dich weiterhin auf dieser Seite aufhältst, akzeptierst du unseren Einsatz von Cookies. Weitere Informationen

Foveated Rendering

Dieses Thema im Forum "VR Technologie" wurde erstellt von MrVR, 3. Januar 2016.

  1. Schau an, ich hätte mir @roads anders vorgestellt. Umso besser, mal ein Foto hier einzustellen (y)
    Der Umhang wirkt aber schon recht feminin, und du solltest dir mal die Augenbrauen zupfen (jaja, das Alter)...
     
  2. Wenn du genau hinsiehst siehst du Nase und Mund.
     
  3. Wo bleibt DFR warum lesen wir nichts über die Technik die Kabel und sogar den PC vielleicht unnötig macht oder Retina Auflösungen ermöglicht? Hat jemand Vergleichswerte wie sich die CPU und GPU Last ändert bei selber Auflösung wenn DFR in den Einsatz kommet? Gibt es hürden bei der Technik die noch nicht genommen werden können wie Latenz oder Ähnliches? Wer weiss was?

    Ich habe ChatGPT mal gefragt welche Auflösung bei 130 HFOV und 110 VFOV notwendig wäre um keine Pixel mehr wahrzunehmen.

    Wir sind also weit weg von Retina und um überhaupt in die Nähe zu kommen ist ohne DFR gar nicht möglich oder einfach nur ein enormer Energieverbrauch.
     
    #53 roads, 22. Oktober 2024
    Zuletzt bearbeitet: 22. Oktober 2024
  4. Eine Hürde sind natürlich die unfassbar hohen Auflösungen, die man bräuchte. Chat GPT geht dabei von 60ppd für die "Augenauflösung" aus, also 60x60 Pixel pro 1 x 1 Grad Sichtfeld; daraus ergeben sich auch die genannten Zahlen. Und das ganze müsste ja über nur Zentimeter-große Displays realisiert werden. Stellt euch mal dicht vor einen großen 8K Fernseher, schaut euch die winzigen Pixel an und jetzt verkleinert gedanklich den riesen Bildschirm mal auf Briefmarkenformat. Das ist technisch einfach noch nicht möglich und stößt teils sogar an physikalische Grenzen. DFR würde zwar dann extrem bei Einsparung der Rechenleistung helfen, aber die unfassbar hohe Auflösung der Displays muss trotzdem vorhanden sein...
     
  5. Bin gespannt ob Meta DFR mit der nächsten Quest forciert, ist doch unmöglich darüber nicht zu stolpern wenn man an WIFI, Höhere Auflösung, mehr FOV, Rechenleistung, Wärmeentwicklung und Batterie denkt.
    Wie gut ist denn das DFR an der Playsi?
     
  6. Naja Carmack hat ja anhand der Quest Pro mal drüber gesprochen; das Problem ist, dass die Augenverfolgung und die daraus hervorgehende Berechnung des Blickzentrums eine gewisse zusätzliche (CPU) Rechenleistung beansprucht. Beim PC ist das natürlich kein Problem, weil die CPU sich meistens eh langweilt und die GPU das Nadelöhr ist; jede Maßnahme die zu entlasten bringt was. Stromverbrauch ist da erstmal egal.

    Bei Stand Alone Headsets muss aber mit sehr begrenzten Ressourcen gehaushaltet werden, da bringt es nix die Grafikeinheit zu entlasten und dafür mehr von der CPU zu fordern; ist ein Nullsummenspiel. Aktuell bliebe unterm Strich kaum was an Vorteil übrig. Nutzt man das Headset am PC, siehts natürlich anders aus.

    Bei der Playsi funktioniert das DFR sehr gut. Man bemerkt es quasi nicht, so schnell und reaktiv ist es. Und es spart um die 30...40% Leistung laut manchen Entwicklern.
     
  7. Da wird sich Standalone aber auch was einfallen lassen müssen.
     
  8. Du fragst für die Quest, oder?

    Bei PCVR bringst bei mir ca. 30%, mit Quadview auch mehr.
     
  9. Ich meinte allgemein liest man wenig. Werden bei der nächsten Quest schon Eyertracking einbauen.
     
  10. Habe hier mal eine Verständnisfrage an Katze GPT gestellt ob das volle Signal an das Headset muss oder nicht also bringt DFR überhaupt was für Wifi Headsets:

    Frage bei einem Wireless VR headset. Kann das DFR auf dem Rechner berechnet werden oder braucht das VR headset das volle signal und muss am Headset das DFR erledigen?

    ChatGPT:


    Gute Frage — bei Wireless-VR (z. B. über Wi-Fi 6/6E oder CloudXR):

    DFR muss auf dem Rechner berechnet werden, nicht im Headset.
    Denn das Headset empfängt nur das fertig gerenderte, komprimierte Bildsignal (Video-Stream).

    Das Headset liefert dabei lediglich die Eye-Tracking-Daten in Echtzeit zurück an den Rechner, der damit das nächste Frame foveated rendert.

    Fazit:

    • Rechenarbeit (DFR + Rendering): PC

    • Eye-Tracking-Input: Headset

    • Gesendetes Signal: bereits foveated-gerendertes Bild
    So spart man Bandbreite und Rechenzeit auf dem Headset.


    Du:
    aber es gibt doch eine Latenz von Berechnung des Eyetracking am VR headset, berechnung des DFR und zurück zum headset das sind doch lcoker mindestens 40ms?

    ChatGPT:
    Sehr gute und technisch präzise Frage — und ja, intuitiv denkt man das, aber in der Praxis ist es deutlich weniger als 40 ms.

    Hier ist die realistische Aufschlüsselung bei modernen Wireless-VR-Systemen (z. B. Quest 3 + PC, Wi-Fi 6E, OpenXR + DFR):

    • Eye-Tracking-Erfassung am Headset: ~2–5 ms

    • Übertragung zum PC (Wi-Fi 6/6E): ~2–6 ms

    • DFR + Frame-Rendering auf GPU: ~8–16 ms

    • Video-Encoding + Rückübertragung zum Headset: ~8–12 ms

    • Display-Latenz im Headset: ~3–5 ms
    ➡️ Gesamte zusätzliche Eye-to-Photon-Latenz durch DFR:
    meist unter 25 ms, bei guten Setups sogar 15–20 ms.

    Das funktioniert, weil:

    • das Eye-Tracking vorausberechnet (Prediction ~10–15 ms)

    • DFR nur Shading verändert, nicht die Geometrie

    • die GPU-Shader parallel optimieren können
    Fazit: Nein, keine 40 ms – realistisch sind 15–25 ms, was unterhalb der Wahrnehmungsschwelle für foveated Rendering liegt.