В учебном пособии описывается процесс создания иерархической модели Neural Radiance Field (NeRF) с использованием JAX, Flax и Optax. Модель строится на основе синтетического многовидового набора данных, который включает объемную геометрию и радиацию, зависящую от вида. В процессе рендеринга используются примитивы объемного рендеринга, предоставляемые jax3d.
В рамках реализации NeRF применяются различные техники, такие как позиционное кодирование, пропуски соединений и отдельные сети для грубого и тонкого рендеринга. Модель обучается с использованием компиляции JIT в JAX, оптимизации Адама и градиентного обрезания. Оценка качества синтеза новых видов производится с помощью PSNR и визуализации глубины и непрозрачности.
Данная работа имеет значимость для развития технологий 3D-реконструкции и объемного рендеринга, что может найти применение в различных областях, включая компьютерную графику и виртуальную реальность. Использование иерархических структур в нейронных сетях может улучшить качество и эффективность рендеринга, что важно для дальнейших исследований в этой области.