Тема доклада: Обзор технологии NVIDIA DRIVE и инструментария разработчика.
Исполнитель: студент гр341-об Коняев Игорь Александрович
1. NVIDIA.
NVIDIA Corporation -- американская компания, один из крупнейших разработчиков графических ускорителей и процессоров, а также наборов системной логики. На рынке продукция компании известна под такими торговыми марками как GeForce, nForce, Quadro, Tesla, ION и Tegra.
(http://s1.radikale.ru/uploads/2016/4/7/d7723e36816379cb6ad01105eb98b32b-full.png)
В общем и целом, кампания является одним из главных поставщиков графических решений на данный момент. Производят графические процессоры, чипсеты, платы. Для всех аппаратных модулей имеются собственные программные продукты, которые всегда открыты для сторонних разработчиков и компаний, все это подкреплено обширной документацией. Рядовому пользователю компьютерной техникой компания может быть известна как производитель видеокарт и различных развлекательных платформ.
(http://s1.radikale.ru/uploads/2016/4/7/9590a02e84c6e0f8a7ff5b5fdbe87574-full.png) (http://s1.radikale.ru/uploads/2016/4/7/1a731673a6df449714d8d69e731bf8bc-full.jpg)
Nvidia Shield Nvidia Geforce(видеоускоритель)
2. NVIDIA DRIVE.
Решения NVIDIA DRIVE обеспечивают автопроизводителей, поставщиков автокомпонентов уровня Tier 1 и разработчиков необходимой производительностью и гибкостью для разработки систем, наделяющих автомобили зрением, мышлением и возможностью обучения. DRIVE PX - это производительная платформа автопилотирования для реализации глубоких нейронных сетей, которая приближает будущее беспилотных автомобилей. DRIVE CX - это полноценное программно-аппаратное решение, которое обеспечивает в автомобиле 3D навигацию и информационно-развлекательные системы, цифровые приборные панели высокого разрешения, обработку естественной речи и круговой обзор окружающего пространства.
(http://s1.radikale.ru/uploads/2016/4/7/b75db3bc9616a789297fc8a341639b13-full.jpg)
Уровень Tier 1 - показатель, при котором компоненты, которые поставляются на "конвейер" требуют только установки и первичной настройки. Tier 4, например, означает, что поставщик предоставляет только сырье для дальнейшего производства.
3. DRIVE PX.
Все автопроизводители, а также компании, занимающиеся транспортными услугами и технологиями транспортировки, уделяют ключевое внимание системам автоматического управления автомобилем и технологиям содействия водителю, в основе которых лежат алгоритмы глубокого обучения.
Машина должна точно знать, где она находится, распознавать объекты вокруг и вычислять оптимальный путь для безопасной поездки. Подобная ситуационная и контекстная осведомленность автомобиля требует производительной системы визуальных вычислений, которая сможет объединять и обрабатывать данные с камер, датчиков и навигационных систем, одновременно рассчитывая самый безопасный путь - и все это в режиме реального времени. Именно такой системой для автономного вождения является платформа NVIDIA DRIVE PX.
NVIDIA DRIVE PX - самая современная в мире платформа, включающая в себя технологии глубокого обучения, объединения датчиков и кругового обзора, которые меняют манеру вождения автомобиля. DRIVE PX обеспечивает новые возможности, включая:
1. Технология объединения датчиков.
(http://s1.radikale.ru/uploads/2016/4/7/15ea01789fd919d90bd9803a599f06c1-full.jpg)
DRIVE PX объединяет данные, полученные с 12 камер, лидара, радара и ультразвуковых датчиков. Это
позволяет с высокой точностью оценивать окружающую обстановку вокруг автомобиля и воссоздавать ее на
панели, включая статические и подвижные объекты. Использование глубоких нейронных сетей (DNN) для
определения и классификации объектов значительно повышает точность данных, полученных с датчиков.
2. Компьютерное зрение и глубокие нейронные сети.
(http://s1.radikale.ru/uploads/2016/4/7/b377f22f07a3eba6e8da2cd685284d46-full.png)
Платформа DRIVE PX основана на технологиях глубокого обучения и содержит производительные фреймворки
(Caffe) для запуска моделей глубоких нейронных сетей, созданных и обученных с помощью NVIDIA DIGITS™.
DRIVE PX также включает в себя современные библиотеки и примитивы компьютерного зрения. В комбинации
эти технологии обеспечивают впечатляющие возможности обнаружения и отслеживания объектов.
3. Круговой обзор.
(http://s1.radikale.ru/uploads/2016/4/7/fe1203198d0d6324c4b9d70b452dbe7d-full.jpg)
DRIVE PX предлагает систему кругового обзора, которая предоставляет водителю обзор пространства вокруг
автомобиля на 360 градусов. Она захватывает, обрабатывает и сшивает данные, полученные с многочисленных
HD камер. Drive PX использует современную технологию определения структуры объекта по отображению
движения и сшивки изображения, чтобы улучшить качество картинки и избежать раздвоения изображения,
когда, например, граница тротуара отображается одновременно в двух местах.
4. Платформа DRIVE PX.
(http://s1.radikale.ru/uploads/2016/4/7/b1d0a7bab9d044009911e816d790ffa7-full.jpg)
DRIVE PX обеспечивается мощностью самых быстрых систем -на чипе NVIDIA, в основе которых лежит
архитектура, используемая в самых мощных суперкомпьютерах в мире. Платформа позволяет быстрее
разрабатывать более точные системы автопилотирования. Ключевые особенности платформы:
• два процессора NVIDIA Tegra® X1, которые вместе обеспечивают производительность более 2,3 Терафлопс;
• интерфейсы для 12 камер, радара, лидара и ультразвуковых датчиков;
• межплатформенное ПО для реализации алгоритмов графики, компьютерного зрения и глубокого обучения;
• периодические обновления программного обеспечения и ОС.
4. DRIVE CX.
Современные бортовые компьютеры в автомобиле должны обеспечивать 3D навигацию и информационно-развлекательные системы, детализированные цифровые панели приборов высокой четкости, обработку естественной речи и изображений в системах содействия водителю. Так как подобные компьютеры становятся все более сложными, автопроизводители нуждаются в платформе, которая позволит им быстрее выводить продукты на рынок при минимальных расходах. NVIDIA DRIVE CX - это именно такая платформа.
(http://s1.radikale.ru/uploads/2016/4/7/c0bb0c6e7bdda1257dbdec84a2362ca4-full.jpg)
DRIVE CX оснащена полноценным программным стеком, начиная от пакета поддержки платформы и заканчивая оптимизированным связующим ПО с интегрированными эталонными приложениями. Платформа подстраивается под системы как начального уровня, так и премиум класса, имеет аппаратную и программную архитектуру, которая сокращает расходы автопроизводителей на разработку и ускоряет время выхода продукта на рынок.
Обработка естественной речи.
(http://s1.radikale.ru/uploads/2016/4/7/bb3d2205fcbf2ed31a19f0fac6e8c77a-full.png)
Поиск адресов, достопримечательностей и вызов контактов из адресной книги - обычные задачи, которые представляют трудности для современных информационно-развлекательных систем в автомобиле. DRIVE CX позволяет упростить эти сложные задачи благодаря распознаванию речи. Процессор Tegra, CUDA и алгоритмы глубокого обучения обеспечивают на платформе DRIVE CX понимание естественных языков (NLU). Так как возможности обработки данных встроены в платформу, для понимания естественных языков не требуется подключение к сети Интернет.
Продвинутые графические возможности для 3d навигации и информационно-развлекательных систем.
(http://s1.radikale.ru/uploads/2016/4/7/ef2155ba93b72e7a0ae1dc399e99f560-full.png)
DRIVE CX использует новейшую архитектуру обработки графических данных для обеспечения реалистичного изображения в высоком разрешении с высокой частотой смены кадров в целом спектре приложений. Это и 3D карты и ландшафты с современными эффектами освещения, и интерфейсы "человек-машина" нового поколения (HMI).
Лучшая в своем классе графика для цифровых приборных панелей.
(http://s1.radikale.ru/uploads/2016/4/7/eb4f54ad03feb3e34870c59eec5209f5-full.jpg)
Автопроизводители и поставщики автокомпонентов уровня Tier 1 могут использовать NVIDIA DRIVE Design для внедрения яркой и персонализированной графики в гибридные и полноценные приборные цифровые панели, сокращая число отвлекающих факторов. DRIVE Design поддерживает язык распознавания материалов (MDL) для фотореалистичного рендеринга таких материалов, как углеволокно, шлифованные материалы и стекло. Отображение критически важной информации в зоне прямой видимости водителя на приборной панели и/или через интерфейс "человек-машина" является самым безопасным.
Обычные системы кругового обзора предоставляют водителю обзор пространства вокруг автомобиля, но часто имеют плохое качество картинки из-за деформации изображения, причиной которой служит использование широкоугольного объектива. DRIVE СX использует современную технологию определения структуры объекта по отображению движения и сшивки изображения, чтобы улучшить качество картинки и избежать раздвоения изображения, когда, например, граница тротуара отображается одновременно в двух местах. Мощные графические возможности позволяют DRIVE СX отображать автомобиль с высокой детализацией и реалистичными эффектами освещения, чтобы вы могли видеть, как выглядит ваша машина, а не типовая модель.
Водители со смартфонами под управлением ОС Android™ или Apple iPhone могут намного проще и безопаснее получать доступ к своим мобильным устройствам и взаимодействовать с такими популярными приложениями, как карты, поиск и музыка. Эта новая возможность позволяет пользоваться полностью голосовыми сообщениями и навигацией.
5. DriveWorks.
Машина должна точно знать, где она находится, распознавать объекты вокруг и вычислять оптимальный путь для безопасной езды. Набор инструментов разработчика NVIDIA DriveWorks представляет собой базу для создания приложений, использующих вычислительно-интенсивные алгоритмы для обнаружения объектов, определения их местоположения и проектирования траектории движения.
Обнаружение объектов.
Как уже было отмечено выше в системе DRIVE PX имеются возможности обнаружения и отслеживания окружающих объектов.
Комплексная технология создания HD карт.
(http://s1.radikale.ru/uploads/2016/4/7/11b4319482947f9b8894bc0215c924df-full.jpg)
Картографирование является важным аспектом беспилотного вождения. NVIDIA предлагает открытую систему для быстрого построения и обновления карт в HD разрешении. Эта комплексная технология создана на основе программного обеспечения DriveWorks для реализации алгоритмов глубокого обучения в бортовом компьютере автомобиля и в облаке. Она позволяет эффективно составлять карты, сокращая сроки выполнения с нескольких недель до минут. Узнайте больше.
Определение местоположения.
(http://s1.radikale.ru/uploads/2016/4/7/4a7157fc4cd0d88c9cf305b24780943d-full.png)
Точное понимание того, где в настоящее время на дороге находится автомобиль, является критически важным условием безопасного передвижения. Способность объединять и обрабатывать высокоточные данные с карт, например, из ведущего картографического сервиса HERE, помогает автомобилю не только придерживаться своей полосы, но и ориентироваться в любых ситуациях на дороге.
Программирование траектории движения.
(http://s1.radikale.ru/uploads/2016/4/7/06bbb37bd1059d1354bcfa68fae946cb-full.png)
Автопилотируемый автомобиль должен уметь безопасно ориентироваться между потенциальными препятствиями в высокодинамичном транспортном потоке. Для вычисления свободного пространства, где может проехать автомобиль, а также способности предвидеть, как может измениться окружающая обстановка, используются сложные алгоритмы. Кроме того, автомобиль должен передвигаться плавно, чтобы не потревожить пассажиров и не помешать другим транспортным средствам. Сложный процесс программирования траектории движения автомобиля учитывает все эти факторы для обеспечения безопасной и приятной поездки.
6. NVIDIA DRIVE Design.
NVIDIA DRIVE Design - это инструмент проектирования интерфейсов «человек-машина» для цифровых приборных панелей и информационно-развлекательных систем. Разработанный NVIDIA, этот инструмент используется производителями автомобилей и поставщиками автокомпонентов уровня Tier 1 для быстрой разработки пилотных версий для проведения оценки, рыночных исследований, проверок удобства использования и, в конечном итоге, для создания конечных продуктов. Инновационный инструмент включает возможности настоящего 3D рендеринга, получения изображений высокого разрешения и анимации с возможностью перемещать источники света и менять положение камер.
Поддержка языка MDL для визуализации сложных материалов.
Теперь, благодаря поддержке сложного языка MDL, стало возможным осуществлять фотореалистичный рендеринг таких сложных материалов, как углеволокно, шлифованные материалы, прошитая кожа и стекло, в режиме реального времени. Результатом является «полотно» для создания настраиваемых цифровых приборных панелей и автомобильных информационно-развлекательных систем нового поколения.
Примеры разработок:
(http://s1.radikale.ru/uploads/2016/4/7/1bddd7d67c91b558da1ef3d6eb8467dd-full.jpg)
(http://s1.radikale.ru/uploads/2016/4/7/e53fe0852864a32f87bb12f7df264f79-full.jpg)
(http://s1.radikale.ru/uploads/2016/4/7/4452d4d29e86ab7e90c36255579cfc38-full.jpg)
7. NVIDIA Jetson Pro.
Современная модульная платформа NVIDIA Jetson Pro позволяет автопроизводителям легко и просто создавать и тестировать графически насыщенные и приложения в области машинного зрения, начиная от автомобильных информационно-развлекательных систем, цифровых приборных панелей и заканчивая современными системами содействия водителю (ADAS).
Платформа выполнена в форм-факторе 1-DIN, который поддерживает несколько конфигураций аппаратного обеспечения, поэтому она легко вставляется в приборную панель автомобиля для упрощения создания прототипов. Даже процесс разработки сложных приложений для работы с видео и обработки изображений, например, предупреждение столкновений и система обнаружения пешеходов, быстрее продвигается к созданию демо-версии, а затем и к коммерческому внедрению благодаря NVIDIA Jetson.
Однако этот небольшой размер позволяет вмещать производительность Модуля визуальных вычислений NVIDIA® Tegra® (VCM) с дискретным GPU. Кроме того, платформа имеет разъемы для сенсорного экрана и плат коммутации, с возможностью подключения дисплея цифровой приборной панели высокого разрешении. Этот модульный принцип конструкции предлагает вам все необходимое для моделирования производительности и возможностей модулей визуальных вычислений Tegra нового поколения уже сегодня.
(http://s1.radikale.ru/uploads/2016/4/7/68a3f98ff076128d8463b2a8cfaebef4-full.png)
8. Современные системы содействия водителю (ADAS).
Традиционная технология содействия водителю позволяет распознавать некоторые объекты, осуществлять базовую классификацию, извещать водителя об опасных ситуациях и, в некоторых случаях, замедлять или останавливать движение автомобиля. Этот уровень развития технологии отлично справляется с обнаружением мертвых зон, содействием при смене полосы движения и предупреждениями об опасности столкновений.
(http://s1.radikale.ru/uploads/2016/4/7/41cb25354bdd27b91eb3436dd1f1a978-full.png)(http://s1.radikale.ru/uploads/2016/4/7/69d1dc41b178cd2e80040693137b46cb-full.png)
(http://s1.radikale.ru/uploads/2016/4/7/9ef9f919c4eb8325db44ae404904aeb7-full.png)
NVIDIA DRIVE™ PX поднимает системы содействия водителю на совершенно новый уровень. Платформа DRIVE PX создана для интеграции с технологией глубокого обучения и включает в себя новый комплект разработчика ПО для построения глубоких нейронных сетей под названием DIGITS.
DIGITS - это система для глубокого обучения, которая позволит компьютерам самостоятельно научиться распознавать объекты в окружающем мире.
С помощью NVIDIA DRIVE PX и DIGITS, система содействия водителю сможет различать типы транспортных средств. Она сможет отличить полицейский автомобиль от такси, машину скорой помощи от автофургона, припаркованный автомобиль - от того, который через мгновение собирается выехать на полосу движения. Эта возможность не ограничивается только транспортными средствами. NVIDIA DRIVE может идентифицировать все, начиная от движущихся по тротуару велосипедистов и заканчивая невнимательными пешеходами.
9. Развлекательные системы для пассажиров.
NVIDIA поднимает развлекательные системы в автомобиле на качественно новый уровень с помощью интегрированной возможности просмотра веб, HD фильмов кинематографического качества и игр консольного качества. Это совершенно новый уровень инноваций, который обеспечивает непревзойденный уровень производительности для пассажиров в работе развлекательных систем автомобиля.
(http://s1.radikale.ru/uploads/2016/4/7/0c1cdd9959aacea13010af18a568c4cb-full.jpg)
Для обеспечения мощностью всех дисплеев в автомобилях будущего и отображения всей информации требуется высокопроизводительный компьютер. Рабочая нагрузка на такой компьютер включает в себя 3D навигацию и информационно-развлекательные системы, детализированные цифровые панели приборов высокой четкости, обработку естественной речи и изображений в системах содействия водителю.
10. NVIDIA DRIVE PX 2.
Предваряя открытие выставки CES 2016, компания NVIDIA провела мероприятие для прессы, в ходе которого был представлен автомобильный суперкомпьютер NVIDIA DRIVE PX 2. Он предназначен для систем искусственного интеллекта самоуправляемых автомобилей и в десять раз превосходит своего предшественника по производительности в задачах глубокого обучения, выполняя 24 трлн соответствующих операций в секунду. В более привычных единицах измерения производительность DRIVE PX 2 составляет 8 TFLOPS.
По подсчетам NVIDIA, компьютер DRIVE PX первого поколения используется более чем 50 компаниями автомобильной отрасли. Предполагается, что NVIDIA DRIVE PX 2 будет способствовать дальнейшему развитию самоуправляемых автомобилей.
(http://s1.radikale.ru/uploads/2016/4/7/e7297ebc2ba807e987209fb40c7b7982-full.jpg)
Первым заказчиком, заинтересовавшимся DRIVE PX 2, стала компания Volvo, которая планирует использовать новый суперкомпьютер в своем самоуправляемом автомобиле. К реализации проекта по использованию самоуправляемых автомобилей на дорогах общественного пользования Volvo приступила в конце 2013 года. По плану проекта, на улицах Гетеборга пройдут тестирование сто самоуправляемых автомобилей Volvo XC90. Именно в них будет использоваться DRIVE PX 2.
Ожидается, что переход на самоуправляемые автомобили приведет к повышению безопасности движения и позволит эффективнее использовать пропускную способность дорог. Ключом к разумному и согласованному движению самоуправляемых автомобилей станет способность к обучению, а бортовой суперкомпьютер является одним из компонентов соответствующей системы.
(http://s1.radikale.ru/uploads/2016/4/7/5737468110133765bd4b8ad73634c071-full.jpg)
Помимо этого, NVIDIA DRIVE PX 2 позволяет наделить автомобиль мощной информационно-развлекательной системой.