Нейродвижок для предсказания следующего состояния среды в трехмерном пространстве.

Суть нейродвижка в том, чтобы предсказывать как будут расположены объекты на сцене в будущие моменты времени. По факту тот же самый генератор видео как Sora, но в 3d. Преимущества такого подхода в том, что все объекты состоят из облаков точек, которые можно редактировать самому, в реальном времени делать правки и продолжать генерацию сцену(передвинул шкаф или стол, потом запускаешь сеть и она дальше генерирует сценарий с тем что есть). Свободно можно использовать для создания анимаций, по сути сеть генерирует мэши объектов и располагает их логически, а то как они будут выглядеть это уже можно предоставить генератору диффузии чтобы сделать хоть аниме стиль, хоть союз мультфильм и тд. Но основной упор в будущем идет на робототехнику, роботы на основе такого движка смогут фантазировать на счет будущих состояний окружающей среды, но вот проблемка: как выбрать конкретное будущее состояние? Их может быть миллионы если не миллиарды. Поэтому как основная сеть обучится физике мира, мы будем ее дообучивать реагировать на текстовый ввод, чтобы строился целенаправленный сценарий. В прикрепленных файлах приложил фрагмент предсказание готовой сети на 10 3d состояний вперед(на видеофрагменте часть толпы людей направленно бегут в одну сторону, отдаленный просто медленно ходят, следующее обучение будет на шутере на огромной карте, в сражении ботов против ботов). То есть сама сеть рабочая и протестирована на начальных этапах, теперь мы на стадии масштабирования, когда сеть будет обучаться на колоссальных данных физики игровых миров.

Скачайте документы или запросите дополнительные