NeRF - projekt Google (AI) poprawiający jakość mocno zaszumionych i niedoświetlonych fotek
Ben Mildenhall prezentuje NIRF w ciemności, co oznacza Neurowe Pola Promieni. To reprezentacja sceny, która może być używana do syntezowania wysokiej jakości nowych widoków. W tym wideo zaprezentowano model NIRF zrekonstruowany z około 20 zdjęć kwiatów. NIRF działa dobrze w scenach takich jak ta, gdzie nie ma dużych zmian w jasności i widocznego szumu obrazu. Widzimy jedno z wejściowych zdjęć tej sceny, które jest wyraźne i ostre, bez przejaśnionych jasnych refleksów lub mocno zacienionych ciemnych obszarów. Jednak co, jeśli chcemy uchwycić scenę znacznie ciemniejszą? Zdjęcie z telefonu komórkowego, oświetlone jedynie światłem świecy, pokazuje, że telefon próbował uzyskać przyzwoity obraz, ale kosztem ukrytych detali. Jeśli weźmiemy surowy plik zamiast tego, zastosujemy minimalne przetwarzanie i rozjaśnimy wynik, możemy dostrzec dużo szumu, ale także ujawnić więcej szczegółów w ciemnych obszarach.
Ben Mildenhall zwraca uwagę na fragment za drewnianą miską, jeszcze bardziej go rozjaśniając. Kiedy uruchamiamy nowoczesną sieć do wyciszania szumów na surowym obrazie, nie eliminuje ona szumu całkowicie, ale pozostawia wiele artefaktów. Jego metoda, znana jako rawnerf, łączy obrazy z wielu różnych punktów widzenia, aby wspólnie wyciszać i rekonstruować scenę. Powracając do szumnego obrazu, widzimy, jak dobrze rawnerf radzi sobie z usuwaniem hałasu. Należy jednak pamiętać, że rawnerf nie jest tylko narzędziem do redukcji szumów, co oznacza, że możemy zmieniać pozycję kamery, aby oglądać scenę z różnych kątów. Rawnerf wykracza poza standardowe możliwości, rekonstruując scenę i renderując nowe widoki w liniowej przestrzeni kolorów HDR.
Dzięki temu Ben Mildenhall może również zmieniać ekspozycję poprzez przeskalowywanie renderów w przestrzeni liniowej przed ich przetworzeniem. Można również wymienić podstawową krzywą gamma na bardziej złożony algorytm mapowania tonalnego, który wydobywa szczegóły w cieniach. Zaletą liniowych wartości kolorów jest to, że możemy renderować syntetyczne rozmycie z dokładnymi efektami bokeh. Mildenhall pokazuje kolejne przykłady zastosowania rawnerf w ciemnych scenach nocnych. W jednym z przykładów widać szumne, zewnętrzne ujęcie oświetlone jedynie lampami ulicznymi. Używając fragmentu znaku ulicznego, jesteśmy świadkami poprawy czytelności, jaką rawnerf dodaje poprzez usunięcie szumów.
Porównując z wyjściem standardowego nerf, które było trenowane na przetworzonych plikach JPEG, widać znaczną różnicę. Mildenhall ilustruje, że rawnerf odzyskuje znacznie dokładniejsze kolory i detale w całej scenie. W dalszej części video Ben prezentuje różne sceny, w których rawnerf doskonale radzi sobie z oddaniem niskich detali i jakości obrazu, nawet w trudnych warunkach oświetleniowych. Pomimo szumu, rawnerf potrafi odzyskać finezję geometrii takich obiektów jak ogrodzenie czy rower. Kończąc materiał, Ben prezentuje różnorodne efekty syntezy HDR stworzone przy użyciu rekonstrukcji rawnerf. Zwraca uwagę na to, jak efektywnie rawnerf może nadać atmosfery różnym regionom w scenie, a technologie te mogą dramatycznie wpłynąć na kontrast w ciemniejszych miejscach.
Film Ben'a Mildenhalla osiągnął imponujące wyniki z 136,104 wyświetleniami oraz 2393 polubieniami w czasie pisania tego artykułu, co wskazuje na zainteresowanie i wysoką jakość treści opartej na najnowszych osiągnięciach technologii graficznych.
Toggle timeline summary
-
Wprowadzenie do NIRF i jego możliwości.
-
Wyjaśnienie Neural Radiance Fields (NIRF) poprawiających reprezentację sceny.
-
Demonstrowanie NIRF z obrazami kwiatów.
-
Optymalne użycie NIRF w scenach o niskiej zmienności.
-
Kontrast z ciemnymi scenami uchwyconymi w słabym świetle.
-
Ograniczenia typowych aparatów w telefonach komórkowych w słabym świetle.
-
Wykorzystanie surowych plików do ujawnienia ukrytych detali w ciemnych obszarach.
-
Wprowadzenie do rawnerf, metody łączącej wiele punktów widzenia.
-
Wydajność rawnerf w redukcji szumów.
-
Renderowanie nowych widoków i zmiana ekspozycji z rawnerf.
-
Badanie możliwości rawnerf w nocnych scenach.
-
Porównanie wyników rawnerf i standardowych wyjść NERF.
-
Prezentacja wydajności rawnerf na szumowych klatkach.
-
Prezentacja zdolności rawnerf do odzyskiwania szczegółowej geometrii.
-
Podkreślenie efektów HDR osiągniętych z rawnerf.
-
Wyjaśnienie obsługi zakresu dynamicznego przez rawnerf.
-
Zwiększanie kontrastu w ciemniejszych regionach sceny za pomocą mapowania tonalnego.
-
Zajmowanie się wyzwaniami HDR z jasnymi witrażami.
-
Wykorzystanie rawnerf do odbić w złożonych scenach.
-
Podsumowanie i podziękowania za oglądanie.
Transcription
Presenting NIRF in the dark. NIRF, or Neural Radiance Fields, is a scene representation that can be used for high-quality novel view synthesis. This video is a rendering of a NIRF model reconstructed from about 20 input images of these flowers. NIRF works very well in scenes like this, where there's minimal brightness variation and no visible image noise. Here's one of the input images for this scene. We can see that it looks clear and sharp, with no overexposed bright highlights or heavily shadowed dark regions. But what if we want to capture a scene that's much, much darker? This is a cell phone image lit only by candlelight. My phone has made a good attempt at producing a decent-looking picture, but at the cost of throwing away a lot of hidden detail. If we grab a raw file instead, apply only minimal post-processing, then brighten up the result, we can see lots of sensor noise, but also reveal more detail in the dark regions. Let's focus on this patch behind the wooden bowl, brightening it up even further. If we run a cutting-edge deep denoising network on the raw image, it removes some of the noise, but leaves behind a lot of artifacts. Our method, called rawnerf, is able to combine images taken from many different camera viewpoints to jointly denoise and reconstruct the scene. Going back to the noisy image, we can see just how well rawnerf does at removing noise. And of course, rawnerf is not just a denoiser, which means we can vary the camera position to view the scene from different angles. Rawnerf goes beyond this. We actually reconstruct the scene and render new views in a linear HDR color space. This means we can also do things like vary the exposure by rescaling renderings in linear space before they're post-processed, or swap out the basic gamma curve for a more complex tone mapping algorithm that brings out detail in shadows. We can even take advantage of the linear color values to render synthetic defocus with accurate bokeh effects. Let's take a look at what rawnerf is capable of in some nighttime scenes. Here's a noisy outdoor scene lit only by street lamps. Focusing in on this street sign, we see that rawnerf cleans up enough noise to make it legible. We can compare rawnerf's output to a standard nerf that's been trained on post-processed JPEGs instead of on raw image data. This rendering was originally so dark we had to scale it up by 16 times to make this video. By comparison, rawnerf recovers much more accurate color and detail throughout the scene. In the remaining examples, we'll simply show a noisy test frame, the corresponding rawnerf rendering, and then a path of novel views. Despite the noise, rawnerf is able to recover the fine geometry of this fence and bicycle. This shiny stove shows how rawnerf inherits nerf's ability to model view-dependent effects. Similarly, in this scene we can observe the reflection of the street light in the road as the camera moves from side to side. We'll end with a showreel of HDR view synthesis effects created using rawnerf reconstructions. As mentioned earlier, the linear color values recovered by rawnerf allow us to render physically accurate defocus effects. Using viewpoint, focus, and exposure altogether creates an atmospheric effect that can bring attention to different regions of the scene. Rawnerf is able to handle scenes with extremely large dynamic range when trained on images taken at different bracketed exposure levels. We can apply a sophisticated local tone mapping pipeline to improve contrast in darker regions of a scene. This effect can heighten the drama of scenes with stark lighting conditions. Capturing bright stained glass windows from inside a dark church has always been a classic HDR challenge. Bright background light sources with varying colors can create pleasingly varied bokeh effects. Since rawnerf builds a full 3D reconstruction over a wide baseline of inputs, we can even focus on the bookcase reflected above the piano keys. Thanks for watching.