Немного об истории Существующие системы Задачи, решаемые в лаборатории Обзор программы курса Компьютерное зрение и зрение человека Иб Изображение Камера и глаз Цвет и баланс белого Задача компьютерного зрения Понять, что запечатлено на изображении Мы видим Компьютер видит Source: S. Naras Задача компьютерного зрения Понять, что запечатлено на изображении р Что это в действительности обозначает?
Ч й б ?
Зрение - источник метрической информации о трехмерном мире Зрение - источник семантической информации о мире Метрическая информация р фр ц Multi-view stereo for Real-time stereo Structure from motion community photo collections yp NASA Mars Rover Goesele et al.
Pollefeys et al.
Семантическая информация Slide credit: Fei-Fei, Fergus & Torralba Категоризация изображений sky building flag face banner wall street lamp bus bus cars Slide credit: Fei-Fei, Fergus & Torralba Категоризация сцены • outdoor • city • t ffi traffic •… slide credit: Fei-Fei, Fergus Качественная информация об объектах Распространение изображений Personal photo albums Movies, news, Surveillance and security Смежные дисциплины Зрение… принятые названия Обработка изображений (Image processing) На входе и выходе изображение Анализ изображений (Image analysis) Фокусируется на работе с 2D изображениями Компьютерное зрение (Сomputer vision) Изначально воостановление 3д структуры по 2д изображениям, сейчас шире, как принятие решений о физических объектах, основываясь на их изображениях Фотограмметрия (Photogrammetry) Исторически измерение расстояний между объектами по 2D изображениям Машинное зрение (Мachine vision) Обычно понимается как решение промышленных, производственных задач (сложилось исторически) Распознавание образов (Pattern recognition) Распознавание обучение на абстрактных числовых величинах полученных в том числе и из изображений Зачем изучать компьютерное зрение?
Полезно – много применений Интересно – наглядное применение массы математических методов Сложно 25+% мозга человека отвечает за зрение «ИИ-полная» задача – решение задачи зрения на ИИ-полная»
уровне человека равносильно решению задачи искусственного интеллекта Почему зрение – это сложно?
Проблемы: точка наблюдения Mi h l Michelangelo Проблемы: освещение Проблемы: масштаб Slide credit: Fei-Fei, Fergus & Torralba Проблемы: деформации X B ih Xu, Beihong Проблемы: перекрытия Magritte, slide credit: Fei-Fei, Fergus & Torralba Проблемы: текстуры и беспорядок Проблемы: движение Проблемы: внутриклассовая изменчивость slide credit: Fei-Fei, Fergus & Torralba Проблемы: локальная неоднозначность slide credit: Fei-Fei, Fergus & Torralba Сложности или возможности?
Изображение запутывает, но дает много подсказок Наша задача – интерпретировать подсказки Цвет и текстура Тени и освещение Отбрасываемые тени Перспектива Дымка Упорядочивание по глубине Форма: текстурный градиент Резюме Зрение изначально нечеткая задача Разные 3D сцены дают одно и то же 2D изображение История области: Л.Дж. Робертс
Ph.D. thesis, MIT Department of
История области: Давид Марр «Primal sketch»
Низкоуровневые («low-level») свойства изображения: направленные края, отрезки и «2.5D sketch»
«2.5D sketch»
Упорядочивание по глубине (бинокулярное стерое), учёт текстуры и т.д.
стерое), «3D model»
Распознавание объектов и представление о 3х мерном мире Marr prize (!) Зрение человека Карта научного мира Решаемые задачи Изображения и видео повсюду Бурно растущая область Обработка – у у е е качества, ре у, Обрабо а улучшение а ес а, ретушь, изменение размера и формы, композиция Интернет – поиск, аннотация, поиск дубликатов, распознавание объектов Видеонаблюдение – отслеживание, распознавание объектов, распознавание жестов и событий Промышленные системы – диагностика, контроль качества Спецэффекты в кино – композиция, монтаж фонов, захват движения Распознавание текста Digit recognition, AT&T labs http://www.research.att.com/~yann/ Поиск лиц В бытовых фотокамерах!
Canon, Sony, Fuji, … Поиск улыбки Sony Cyber-shot® T70 Digital Still Camera Распознавание лиц Биометрия “How the Afghan Girl was Identified by Her Iris Patterns” Read the story Идентификация пользователя Fingerprint scanners on many new laptops, http://www.sensiblevision.com/ other devices Распознавание объектов Microsoft Research iPhone Apps:
(www kooaba com) (www.kooaba.com) Умные машины Mobileye Топ-модели от BMW, GM, Volvo К 2010: 70% производителей машин Умные машины Спецэффекты: 3Д модели The Matrix movies, ESC Entertainment, XYZRGB, NRC Спецэффекты: захват движения Pirates of the Carribean, Industrial Light and Magic Спортивные соревнования Sportvision first down line Nice explanation on www.howstuffworks.com Зрение в космосе Системы зрения использовались для:
• Склейка панорам • 3D моделирование местности • Поиск препятствий, определение местоположения • Подробнее см. “Computer Vision on Mars” by Matthies et al.
Интерфейсы Nintendo Wii has camera-based IR tracking built in. See Lee’s work at CMU on clever tricks on using it to create a multi-touch display!
Интерфейсы: NATAL Интерфейсы:
Ролик NATAL Роботы NASA’s Mars Spirit Rover http://www.robocup.org/ http://en.wikipedia.org/wiki/Spirit_rover Трехмерные карты Image from Microsoft’s Virtual Earth (see also: Google Earth) PhotoSynth PhotoSynth Примеры наших задач 3D реконструкция зданий Дорожные лаборатории Видеонаблюдение Лабораторные животные Люди Геология Маттирование Реконструкция городов Дорожные лаборатории Дорожные лаборатории: 3D Видеонаблюдение Геология Спецэффекты Структура курса 12 лекций 3 домашних задания Оценки за задания (2...5) Оценка за курс по заданиям Задания на Матлаб Удобнее и проще, чем на С++/С# Будет занятие по Матлабу!
Вопросы:
В форум – http://forum.graphicon.ru Домашние задания Система распознавания автомобильных номеров в 3х частях Простейший алгоритм Распознавание с помощью машинного обучения Выделение номеров в видео Данные предоставлены компанией ISS: www.iss.ru Программа курса Low-level vision LowОбработка изображений Выделение особенностей MidMid-level vision Сегментация, сопоставление, подгонка High-level vision Highg Классификация, поиск объектов, семантическая сегментация Video analysis Отслеживание в видео 3D reconstruction По 1 изображению Стерео-реконструкция СтереоОбработка изображений Извлечение особенностей Feature extraction: corner and blob detection Сопоставление изображений и подгонка Fitting: Least squares Hough transform
RANSAC
Сегментация изображений Классификация Деревья классификации Random forest Boosting Оценка классификаторов Поиск объектов Кластеризация и поиск изображений Patch description and matching Clustering and visual vocabularies Отслеживание в видео Articulated models Реконструкция по изображению Стерео-реконструкция СтереоУчебники R Szeliski «Computer vision:
R.Szeliski Algorithm and applications»
http://research.microsoft.com/enhttp://research microsoft com/enus/um/people/szeliski/Book/ Форсайт Понс «Компьютерное зрение:
«2 3 СОДЕРЖАНИЕ Введение.................... 3 Программа.................... 5 Нормативные акты и литерат ура.. 24 Примерный перечень вопросов к вступительному экзамену.40 ВВЕДЕНИЕ ПОЯСНИТЕЛЬНАЯ ЗАПИСКА Программа вступительного экзамена в аспирантуру по специальности 12.00.03 Гражданское право, предпринимательское право, семейное право, международное частное право, осуществляется кафедрой гражданско-правовых дисциплин, и включает в себя дисциплину...»
[ 
«