СППМ/ММРБЗ, 01 лекция (от 16 марта)

Материал из eSyr's wiki.

• Презентация: PDF PPS
• Диктофонная запись: http://esyr.org/lections/audio/am_2009_summer/am_imaging_09_03_16.ogg

Для получения зачёта необх. присуствовать на обоих лекциях.

В этих лекциях будет рассказано о разных постановках и методах решения биометр. задач. Расозн. по лицу и сетчатке глаза. Кроме этого сущ. методы распозн. по голосу, по венам и так далее, есть ещё по походке, по форме уха, много разных методов, и все они свяханы с идент. человека. Первая лекция скорее про задачи обр. изображений, вторая лекция будет посв. раздужке, и там будет рассм. задача анализа.

Соотв., первая лекция будет про повыш. разщреш. изображений. Задача важна для обр. биометрических данных. камеры слеж. низкого разрешения, но если есть неск. кадров, то можно сделать изобр. более высокого качества. Вообще, задача повыш. изобр. довольно известна. Понятно, что если ничего не видно на исх. изображении, то улучшить ничего не получится.

Общая схема:

• Введение
• Линейные методы повыш. разреш
• Нелинейные методы. Тут появятся методы регуляриз
• Суперразрешение (на осн. неск. снимков)

Изображение есть двумерная матрица, кажджая точка — пиксел, в случае grayscale она принимает знач. от 0 до 255, либо большее число градаций, и соотв., если цветное, то есть три шкалы: RGB, и мы из них в каждом можно работать отдельно и потом соединять.

Как можно её увеличить: 8 Простейшее — метод ближайшего соседа. Этот метод плохой, но дост. часто исп.

• • Недостаток метода: сильно видны пикселы, эффекты на карях, на границах
• Стандартныке методы, которые применяются. У нас есть какая-о функция, одномернаяя. есть знач. на сетке, мы хотим её проинтерп. и полуить знач. на сетке в два раза меньше. Нахожд. знач. в промежуточ. точках и есть повыш. разреш. Есть куча разных вариантов восст, но понятно, что инф. восст. нельзя.

Метод ближайшего соседа — точки принимают зн. ближ. узла.

Линейная интерполяция. У нас есть 4 пиксела в узлах квадрата и по линейной форм. пересч. знач. и нах. знач. в произв. точке.

Интерполяция кубическими сплайнами. Разнве бывают сплайны. Суммируются 4 пиксела по x и y

Сравнение методов.

Чуть-чуть математики. У нас есть формула свёртки: задана функция, и мы берём некое ядро и считаем сумму и получ. зн. функции в любом промежуточ. значении.

В зависимости от ядра, получ. разл. рассм. ранее методы интерп.

Сущ. ешё гауссовская и sinc-интерполяция (идеальная).

Лектор обратит внимание, что есть множ. 1/sqrt(sπ)sigma — мы требуем, чтобы интеграл был равен единице. Зачем это надо: чтобы не изм. яркость изображения. Для того, чтобы интерп. не меняла сред. инт. изобр, нужно св-во единичности ядра.

Недостатки:

• Алиасинг
• Размывание
• Эффект Гиббса

Алиасинг: возн. при методе ближ. соседа, билин. его убивает, но возн. размытие, помогают только адапт. методы. Другие проблемы в алмасингом:

• Эффект наложения при уменьш.
• Зубцеобр. при синтезе

Эффект гиббса возн. при интерп. быстро меняющейся функции медленно меняющейся.

Современные стандарты: если сильно компресс. JPEG, то возн. блоки, посе. блоки сжимаются незаисимо, поэтому возн. такие эффекты. Сейчас уже исп. более совр. методы, например, wavelet, и там проблема не блочность, а эффектн гиббса.

Для любого линейного метода присющ баланс артефактов.

Нелин. методы предн. для уббир. этих эффектов.

В нелин. методазх вылез. гораздо больше математики.

Границы — та область, где эти эффекты и сказываются. Если однор. область, то все методы работают хорошо. Все проблемы возн. на больших градиентах интенсивности.

Первый класс методов — градиентные методы. Основная идея — исп. разных методов для интерп. вдоль и поперёк границ. Для этого обыно исп. edge detection. Соотв., вдоль границы исп. интерп., а поперёк гшраницы исп. другие методы, иначе плохо.

Метод NEDI — увел. в два раза, при этом исп. самоподобие изобр. Делается в два прохода. Первый проход: когда мы назодимся в обл. границы, то там некое самоподобие, поэтому снач. берётся более высокая шкала, и смотр., какой коэф. пересчёта, чтобы найти веса, мы берём 4 пикслеа из большей сетки, и эти же веся исп. для интерп. на более низком уровне.

Все эти методы дост. новые. ЛЕктор поговорит про метод, которым они заним, осн. на аппркс. нелин. облоастей с помощью метода регуляр. Тихонова. Сначала ставим прямую задачу: было большое изобр., есть оператор, который уменьш. изобр, и дальше рассм. восст. прообраза как обр. задачу со всеми проблемами: неоднозначность и неуст. решения.

Нужно вводить дополн. ограничения. Что здесь делается: если бы мы просто решали эту задачу, то мы пытались бы найти минимум нормы разности и получим очень плозо, очень неоднозначно. Но мы с неким параметром регуляриз., некий стабилизатор, пытаемся добиться, чтобы оно было близко и имеюш. изобр, но при этом чтобы стабилиз. тоже был мал.

Стабилизаторы можно исп. разные. Можно исп. тихоновский, но он даёт члишко мольшое размытие. Поэтому исп. total variation. В итоге мы требуем, чтобы граница была больше похожа на ступеньку. В итоге с одной тороны прибл. картинку, с другой стороны, добиваемся, чтобы границы были резкие. Поск. у нас есть модуль по L1, то метод скор. спуска исп. нельзя, есть другие методы.

В итоге получ. таки небольшой эффект Гиббса. Для его убивания делается постобработка, мы считаем полную вариацию исх. картинки, и требуем его от новой.

Nen ytrjnjhst djghjcs pflfdfkbcm. Вероянто, стоит сказать про обр. изобр. и связь с совр. задачами, мат. методами и так далее. Вообще, у нас фак. довольно спетифич., на западе есть аналог: CS и математика. CS исп. именно в обл. разделе multimedia, data analysis, звук, видео., изобр., но это та часть, которая треб. матем., причём соверш. разной, нет такой более-менее разумной матем., которая не была исп. в методах анализа изобр. В этих задачах applied science, applied math это что значит — жто нереально практ. пост. хорогуюб задачу. Если сейчас пост. наст. задачу в чистой математике, то это оценить практ. нереально. Раньше любой, оконч. мехмат, мог откр. журнал "достиж математики" и разобраться, что там. Сейчас такого нет.

Каждый роет свою нормку в математике, кажлый там живёт, может общаться.

Прикл. мат. хороша тем, что есть куча текущих практ. задач, где есть много разных подходов. Методов масса, разл. подходы, на нашем фак. дост. знаний, чтобы онимать, о чём в этом пишут.

Метод суперразрешения. Есть неск. снимков одного объекта, если говорить про биометрию, то это лицо.

Если делать грамотно, то делается более зитро: вытаск. глаза, нос и так далее, делаются методы machine learning, и так далее. Здесб мы это не исп.

За счётчего удаётся улучш. изображ? В случае ресемплинга мы полчуаем картинку красивю, в случае суперразр. получ. доп. инф. Если у нас двигался объект на кадрах, то если мы сможем его найти, то см. его восст.

Делается точно так же: ставится прямая задача (большое изобр. уменьш. с разным сдвигом), а нужно решать обратную.

Получаем оператор: A_k z = DHF_k z

• D — прореж
• H — размытие камерой
• F_k — оператор смещ.

Теперь вс. эту констр. нужно вывернуть наизн., решать обр. задачу, применять методы регуляриз.

Типичная практ. задача: ресемплинг для HD. И важным становится у HD-телевизова не только качество панели, но и качество алгоритмов ресемплинга. И проблема тут в том, что ресемпллинг нужно делать в реалтайме.