Тема доклада: Обзор технологии NVIDIA DRIVE и инструментария разработчика.
Исполнитель: студент гр341-об Коняев Игорь Александрович
1.
NVIDIA. NVIDIA Corporation -- американская компания, один из крупнейших разработчиков графических ускорителей и процессоров, а также наборов системной логики. На рынке продукция компании известна под такими торговыми марками как GeForce, nForce, Quadro, Tesla, ION и Tegra.
В общем и целом, кампания является одним из главных поставщиков графических решений на данный момент. Производят графические процессоры, чипсеты, платы. Для всех аппаратных модулей имеются собственные программные продукты, которые всегда открыты для сторонних разработчиков и компаний, все это подкреплено обширной документацией. Рядовому пользователю компьютерной техникой компания может быть известна как производитель видеокарт и различных развлекательных платформ.
Nvidia Shield Nvidia Geforce(видеоускоритель)
2.
NVIDIA DRIVE. Решения NVIDIA DRIVE обеспечивают автопроизводителей, поставщиков автокомпонентов уровня Tier 1 и разработчиков необходимой производительностью и гибкостью для разработки систем, наделяющих автомобили зрением, мышлением и возможностью обучения. DRIVE PX - это производительная платформа автопилотирования для реализации глубоких нейронных сетей, которая приближает будущее беспилотных автомобилей. DRIVE CX - это полноценное программно-аппаратное решение, которое обеспечивает в автомобиле 3D навигацию и информационно-развлекательные системы, цифровые приборные панели высокого разрешения, обработку естественной речи и круговой обзор окружающего пространства.
Уровень Tier 1 - показатель, при котором компоненты, которые поставляются на "конвейер" требуют только установки и первичной настройки. Tier 4, например, означает, что поставщик предоставляет только сырье для дальнейшего производства.
3.
DRIVE PX. Все автопроизводители, а также компании, занимающиеся транспортными услугами и технологиями транспортировки, уделяют ключевое внимание системам автоматического управления автомобилем и технологиям содействия водителю, в основе которых лежат алгоритмы глубокого обучения.
Машина должна точно знать, где она находится, распознавать объекты вокруг и вычислять оптимальный путь для безопасной поездки. Подобная ситуационная и контекстная осведомленность автомобиля требует производительной системы визуальных вычислений, которая сможет объединять и обрабатывать данные с камер, датчиков и навигационных систем, одновременно рассчитывая самый безопасный путь - и все это в режиме реального времени. Именно такой системой для автономного вождения является платформа NVIDIA DRIVE PX.
NVIDIA DRIVE PX - самая современная в мире платформа, включающая в себя технологии глубокого обучения, объединения датчиков и кругового обзора, которые меняют манеру вождения автомобиля. DRIVE PX обеспечивает новые возможности, включая:
1. Технология объединения датчиков.
DRIVE PX объединяет данные, полученные с 12 камер, лидара, радара и ультразвуковых датчиков. Это
позволяет с высокой точностью оценивать окружающую обстановку вокруг автомобиля и воссоздавать ее на
панели, включая статические и подвижные объекты. Использование глубоких нейронных сетей (DNN) для
определения и классификации объектов значительно повышает точность данных, полученных с датчиков.
2. Компьютерное зрение и глубокие нейронные сети.
Платформа DRIVE PX основана на технологиях глубокого обучения и содержит производительные фреймворки
(Caffe) для запуска моделей глубоких нейронных сетей, созданных и обученных с помощью NVIDIA DIGITS™.
DRIVE PX также включает в себя современные библиотеки и примитивы компьютерного зрения. В комбинации
эти технологии обеспечивают впечатляющие возможности обнаружения и отслеживания объектов.
3. Круговой обзор.
DRIVE PX предлагает систему кругового обзора, которая предоставляет водителю обзор пространства вокруг
автомобиля на 360 градусов. Она захватывает, обрабатывает и сшивает данные, полученные с многочисленных
HD камер. Drive PX использует современную технологию определения структуры объекта по отображению
движения и сшивки изображения, чтобы улучшить качество картинки и избежать раздвоения изображения,
когда, например, граница тротуара отображается одновременно в двух местах.
4. Платформа DRIVE PX.
DRIVE PX обеспечивается мощностью самых быстрых систем -на чипе NVIDIA, в основе которых лежит
архитектура, используемая в самых мощных суперкомпьютерах в мире. Платформа позволяет быстрее
разрабатывать более точные системы автопилотирования. Ключевые особенности платформы:
• два процессора NVIDIA Tegra® X1, которые вместе обеспечивают производительность более 2,3 Терафлопс;
• интерфейсы для 12 камер, радара, лидара и ультразвуковых датчиков;
• межплатформенное ПО для реализации алгоритмов графики, компьютерного зрения и глубокого обучения;
• периодические обновления программного обеспечения и ОС.
4.
DRIVE CX. Современные бортовые компьютеры в автомобиле должны обеспечивать 3D навигацию и информационно-развлекательные системы, детализированные цифровые панели приборов высокой четкости, обработку естественной речи и изображений в системах содействия водителю. Так как подобные компьютеры становятся все более сложными, автопроизводители нуждаются в платформе, которая позволит им быстрее выводить продукты на рынок при минимальных расходах. NVIDIA DRIVE CX - это именно такая платформа.
DRIVE CX оснащена полноценным программным стеком, начиная от пакета поддержки платформы и заканчивая оптимизированным связующим ПО с интегрированными эталонными приложениями. Платформа подстраивается под системы как начального уровня, так и премиум класса, имеет аппаратную и программную архитектуру, которая сокращает расходы автопроизводителей на разработку и ускоряет время выхода продукта на рынок.
Обработка естественной речи.
Поиск адресов, достопримечательностей и вызов контактов из адресной книги - обычные задачи, которые представляют трудности для современных информационно-развлекательных систем в автомобиле. DRIVE CX позволяет упростить эти сложные задачи благодаря распознаванию речи. Процессор Tegra, CUDA и алгоритмы глубокого обучения обеспечивают на платформе DRIVE CX понимание естественных языков (NLU). Так как возможности обработки данных встроены в платформу, для понимания естественных языков не требуется подключение к сети Интернет.
Продвинутые графические возможности для 3d навигации и информационно-развлекательных систем.
DRIVE CX использует новейшую архитектуру обработки графических данных для обеспечения реалистичного изображения в высоком разрешении с высокой частотой смены кадров в целом спектре приложений. Это и 3D карты и ландшафты с современными эффектами освещения, и интерфейсы "человек-машина" нового поколения (HMI).
Лучшая в своем классе графика для цифровых приборных панелей.
Автопроизводители и поставщики автокомпонентов уровня Tier 1 могут использовать NVIDIA DRIVE Design для внедрения яркой и персонализированной графики в гибридные и полноценные приборные цифровые панели, сокращая число отвлекающих факторов. DRIVE Design поддерживает язык распознавания материалов (MDL) для фотореалистичного рендеринга таких материалов, как углеволокно, шлифованные материалы и стекло. Отображение критически важной информации в зоне прямой видимости водителя на приборной панели и/или через интерфейс "человек-машина" является самым безопасным.
Обычные системы кругового обзора предоставляют водителю обзор пространства вокруг автомобиля, но часто имеют плохое качество картинки из-за деформации изображения, причиной которой служит использование широкоугольного объектива. DRIVE СX использует современную технологию определения структуры объекта по отображению движения и сшивки изображения, чтобы улучшить качество картинки и избежать раздвоения изображения, когда, например, граница тротуара отображается одновременно в двух местах. Мощные графические возможности позволяют DRIVE СX отображать автомобиль с высокой детализацией и реалистичными эффектами освещения, чтобы вы могли видеть, как выглядит ваша машина, а не типовая модель.
Водители со смартфонами под управлением ОС Android™ или Apple iPhone могут намного проще и безопаснее получать доступ к своим мобильным устройствам и взаимодействовать с такими популярными приложениями, как карты, поиск и музыка. Эта новая возможность позволяет пользоваться полностью голосовыми сообщениями и навигацией.
5.
DriveWorks.Машина должна точно знать, где она находится, распознавать объекты вокруг и вычислять оптимальный путь для безопасной езды. Набор инструментов разработчика NVIDIA DriveWorks представляет собой базу для создания приложений, использующих вычислительно-интенсивные алгоритмы для обнаружения объектов, определения их местоположения и проектирования траектории движения.
Обнаружение объектов.
Как уже было отмечено выше в системе DRIVE PX имеются возможности обнаружения и отслеживания окружающих объектов.
Комплексная технология создания HD карт.
Картографирование является важным аспектом беспилотного вождения. NVIDIA предлагает открытую систему для быстрого построения и обновления карт в HD разрешении. Эта комплексная технология создана на основе программного обеспечения DriveWorks для реализации алгоритмов глубокого обучения в бортовом компьютере автомобиля и в облаке. Она позволяет эффективно составлять карты, сокращая сроки выполнения с нескольких недель до минут. Узнайте больше.
Определение местоположения.
Точное понимание того, где в настоящее время на дороге находится автомобиль, является критически важным условием безопасного передвижения. Способность объединять и обрабатывать высокоточные данные с карт, например, из ведущего картографического сервиса HERE, помогает автомобилю не только придерживаться своей полосы, но и ориентироваться в любых ситуациях на дороге.
Программирование траектории движения.
Автопилотируемый автомобиль должен уметь безопасно ориентироваться между потенциальными препятствиями в высокодинамичном транспортном потоке. Для вычисления свободного пространства, где может проехать автомобиль, а также способности предвидеть, как может измениться окружающая обстановка, используются сложные алгоритмы. Кроме того, автомобиль должен передвигаться плавно, чтобы не потревожить пассажиров и не помешать другим транспортным средствам. Сложный процесс программирования траектории движения автомобиля учитывает все эти факторы для обеспечения безопасной и приятной поездки.
6.
NVIDIA DRIVE Design. NVIDIA DRIVE Design - это инструмент проектирования интерфейсов «человек-машина» для цифровых приборных панелей и информационно-развлекательных систем. Разработанный NVIDIA, этот инструмент используется производителями автомобилей и поставщиками автокомпонентов уровня Tier 1 для быстрой разработки пилотных версий для проведения оценки, рыночных исследований, проверок удобства использования и, в конечном итоге, для создания конечных продуктов. Инновационный инструмент включает возможности настоящего 3D рендеринга, получения изображений высокого разрешения и анимации с возможностью перемещать источники света и менять положение камер.
Поддержка языка MDL для визуализации сложных материалов.
Теперь, благодаря поддержке сложного языка MDL, стало возможным осуществлять фотореалистичный рендеринг таких сложных материалов, как углеволокно, шлифованные материалы, прошитая кожа и стекло, в режиме реального времени. Результатом является «полотно» для создания настраиваемых цифровых приборных панелей и автомобильных информационно-развлекательных систем нового поколения.
Примеры разработок:
7.
NVIDIA Jetson Pro. Современная модульная платформа NVIDIA Jetson Pro позволяет автопроизводителям легко и просто создавать и тестировать графически насыщенные и приложения в области машинного зрения, начиная от автомобильных информационно-развлекательных систем, цифровых приборных панелей и заканчивая современными системами содействия водителю (ADAS).
Платформа выполнена в форм-факторе 1-DIN, который поддерживает несколько конфигураций аппаратного обеспечения, поэтому она легко вставляется в приборную панель автомобиля для упрощения создания прототипов. Даже процесс разработки сложных приложений для работы с видео и обработки изображений, например, предупреждение столкновений и система обнаружения пешеходов, быстрее продвигается к созданию демо-версии, а затем и к коммерческому внедрению благодаря NVIDIA Jetson.
Однако этот небольшой размер позволяет вмещать производительность Модуля визуальных вычислений NVIDIA® Tegra® (VCM) с дискретным GPU. Кроме того, платформа имеет разъемы для сенсорного экрана и плат коммутации, с возможностью подключения дисплея цифровой приборной панели высокого разрешении. Этот модульный принцип конструкции предлагает вам все необходимое для моделирования производительности и возможностей модулей визуальных вычислений Tegra нового поколения уже сегодня.
8.
Современные системы содействия водителю (ADAS). Традиционная технология содействия водителю позволяет распознавать некоторые объекты, осуществлять базовую классификацию, извещать водителя об опасных ситуациях и, в некоторых случаях, замедлять или останавливать движение автомобиля. Этот уровень развития технологии отлично справляется с обнаружением мертвых зон, содействием при смене полосы движения и предупреждениями об опасности столкновений.
NVIDIA DRIVE™ PX поднимает системы содействия водителю на совершенно новый уровень. Платформа DRIVE PX создана для интеграции с технологией глубокого обучения и включает в себя новый комплект разработчика ПО для построения глубоких нейронных сетей под названием DIGITS.
DIGITS - это система для глубокого обучения, которая позволит компьютерам самостоятельно научиться распознавать объекты в окружающем мире.
С помощью NVIDIA DRIVE PX и DIGITS, система содействия водителю сможет различать типы транспортных средств. Она сможет отличить полицейский автомобиль от такси, машину скорой помощи от автофургона, припаркованный автомобиль - от того, который через мгновение собирается выехать на полосу движения. Эта возможность не ограничивается только транспортными средствами. NVIDIA DRIVE может идентифицировать все, начиная от движущихся по тротуару велосипедистов и заканчивая невнимательными пешеходами.
9.
Развлекательные системы для пассажиров. NVIDIA поднимает развлекательные системы в автомобиле на качественно новый уровень с помощью интегрированной возможности просмотра веб, HD фильмов кинематографического качества и игр консольного качества. Это совершенно новый уровень инноваций, который обеспечивает непревзойденный уровень производительности для пассажиров в работе развлекательных систем автомобиля.
Для обеспечения мощностью всех дисплеев в автомобилях будущего и отображения всей информации требуется высокопроизводительный компьютер. Рабочая нагрузка на такой компьютер включает в себя 3D навигацию и информационно-развлекательные системы, детализированные цифровые панели приборов высокой четкости, обработку естественной речи и изображений в системах содействия водителю.
10.
NVIDIA DRIVE PX 2. Предваряя открытие выставки CES 2016, компания NVIDIA провела мероприятие для прессы, в ходе которого был представлен автомобильный суперкомпьютер NVIDIA DRIVE PX 2. Он предназначен для систем искусственного интеллекта самоуправляемых автомобилей и в десять раз превосходит своего предшественника по производительности в задачах глубокого обучения, выполняя 24 трлн соответствующих операций в секунду. В более привычных единицах измерения производительность DRIVE PX 2 составляет 8 TFLOPS.
По подсчетам NVIDIA, компьютер DRIVE PX первого поколения используется более чем 50 компаниями автомобильной отрасли. Предполагается, что NVIDIA DRIVE PX 2 будет способствовать дальнейшему развитию самоуправляемых автомобилей.
Первым заказчиком, заинтересовавшимся DRIVE PX 2, стала компания Volvo, которая планирует использовать новый суперкомпьютер в своем самоуправляемом автомобиле. К реализации проекта по использованию самоуправляемых автомобилей на дорогах общественного пользования Volvo приступила в конце 2013 года. По плану проекта, на улицах Гетеборга пройдут тестирование сто самоуправляемых автомобилей Volvo XC90. Именно в них будет использоваться DRIVE PX 2.
Ожидается, что переход на самоуправляемые автомобили приведет к повышению безопасности движения и позволит эффективнее использовать пропускную способность дорог. Ключом к разумному и согласованному движению самоуправляемых автомобилей станет способность к обучению, а бортовой суперкомпьютер является одним из компонентов соответствующей системы.
Помимо этого, NVIDIA DRIVE PX 2 позволяет наделить автомобиль мощной информационно-развлекательной системой.
