Лекции

#ТемаДата

M1

Классификация и кластеризация

L01Анализ главных компонент (PCA)09 фев
L02Сингулярное разложение матрицы (SVD)16 фев
L03Нормально распределённая случайная величина23 фев
L04Наивный байесовский классификатор (NBC). Задача распознавания Свой/Чужой (IFF)02 мар

M2

Искусственная нейронная сеть (ANN)

L05Архитектура искусственной нейронной сети. Многослойный персептрон09 мар
L06Обучение с учителем. Дельта-правило обучения16 мар
L07Обучение персептрона методом обратного распространения ошибки (Backpropagation)23 мар
L08Метод k-средних. Сеть радиально-базисных функций (RBF)30 мар
L09Нейронные сети Кохонена. Карты самоорганизации (SOM)06 апр

M3

Генетические алгоритмы

L10Генетический алгоритм. Генетические операторы07 апр
L11Гаплоидный и диплоидный генетический алгоритмы13 апр
L12Оптимизация методом роя частиц (PSO)20 апр

M4

Метод опорных векторов (SVM) и свёрточные нейронные сети (CNN)

L13Машина опорных векторов (SVM): линейно разделимые классы21 апр
L14Алгоритм обучения машины опорных векторов (SVM). Повышение размерности и искривление фазового пространства04 мая
L15Линейно неразделимые классы. Ядра и повышение размерности11 мая
L16Свёртка одно- и двумерных последвательностей18 мая
L17Свёрточные нейронные сети (CNN)25 мая

Практика

#ТемаСдать
M1P01Метод главных компонент. Сингулярное разложение матрицы (SVD)  15 фев
M1P02Сингулярное разложение матрицы. Выявление фальсифицированных лекарств  21 фев
M1P03Нормально распределённая случайная величина  28 фев
M1P04Наивный байесовский классификатор (NBC)  07 мар
M2P05Архитектура искусственной нейронной сети  15 мар
M2P06Многослойный персептрон. Дельта-правило обучения  22 мар
M2P07Обучение персептрона методом обратного распространения ошибки  29 мар
M2P08Сеть радиально-базисных функций (RBF)  05 апр
M2P09Нейронные сети Кохонена. Карты самоорганизации  12 апр
M3P10Генетический алгоритм. Генетические операторы  15 апр
M3P11Репродуктивный план Холланда  19 апр
M3P12Эволюционные алгоритмы  26 апр
M4P13Метод опорных векторов (SVM): линейная разделимость и искривление фазового пространства  03 мая
M4P14Алгоритм обучения машины опорных векторов (SVM)  10 мая
M4P15Линейно неразделимые классы. Ядра  17 мая
M4P16Свёртка и фильтры  06 июня
M4P17Свёрточные нейронные сети (CNN)  07 июня

Литература

  1. Померанцев А. Метод Главных Компонент (PCA). — Российское хемометрическое общество, 2011.  
  2. Nikhil Buduma. Fundamentals of Deep Learning. Designing Next-Generation Machine Intelligence Algorithms. — O'Reilly Media, 2017. — 298 P.  
  3. Николенко С., Кадурин А., Архангельская Е. Глубокое обучение. Погружение в мир нейронных сетей. — СПб.: Питер, 2018. — 480 c.  
  4. Корн Г., Корн Т. Справочник по математике для научных работников и инженеров. — М.: Наука, 1973. — 832 С.  
  5. Эсбенсен К. Анализ многомерных данных. — Черноголовка: Изд-во ИПХФ РАН, 2005. — 160 С.  
  6. LeCun Y., Cortes C., Burges C.J.C. The MNIST database of handwritten digits. —
  7. Хайкин С. Нейронные сети. Полный курс. — М.: Вильямс, 2006. — 1104 С.  
  8. ГОСТ Р 52633.5–2011. Автоматическое обучение нейросетевых преобразователей биометрия-код доступа. — 2011. — 20 С.  
  9. Иванов А.И. Многомерная нейросетевая обработка биометрических данных с программным воспроизведением эффектов квантовой суперпозиции. — Пенза: АО "ПНИЭИ", 2016. — 133 С.  
  10. Вороновский Г.К. и др. Генетические алгоритмы, Искусственные нейронные сети и Проблемы виртуальной реальности. — Харьков: "Основа", 1997. — 107 С.  
  11. Гудфеллоу Я., Бенджио И., Курвилль А. Глубокое обучение. — М.: "ДМК Пресс", 2018. — 652 С.  
  12. Sean Luke Essentials of Metaheuristics. — LuLu. Second Edition (Online Version 2.2) October, 2015. — 261 P.  
  13. Цой Ю.Р. Метаэвристика (перевод книги "Essentials of Metaheuristics") — 2011. — 204 С.  
  14. Новиков Ф.А. Дискретная математика: Учебник для вузов. 2-е изд. Стандарт третьего поколения — СПб.: Питер, 2013. — 400 с.
  15. Карпенко А.П. Современные алгоритмы поисковой оптимизации. Алгоритмы, вдохновленные природой. 2-е изд. — Москва: Изд. МГТУ им.Н.Э.Баумана, 2017. — 446 с.
  16. Mirjalili S., Mirjalili S.M., Lewis A. Grey Wolf Optimizer — Advances in Engineering Software , vol.69, 2014. — pp.46-61.
  17. Воронцов К.В. Лекции по методу опорных векторов. — 2007. — 18 С.  
  18. Nefedov Alexey. Support Vector Machines: A Simple Tutorial. — 2016. — 35 P.  

Результаты

№ЛекM1M2M3M4 Итог 
F L M  P01   P02   P03   P04   P05   P06   P07   P08   P09   P10   P11   P12   P13   P14   P15   P16   P17 
 1.   8  162 212 282 73 143 213 293 54 124 144 184 264 35 105 175 66 76  ✓  G
 2.   6  152 202 282 73 143 213 293 54 124 154 184 254 25 105 175 66 66  ✓  A
 3.   10   1  152 212 282 73 133 213 293 54 124 154 184 264 25 105 175 66 76  ✓  I
 4.   12   2  152 202 282 73 133 213 293 54 124 154 184 262 35 105 175 66 76  ✓  E
 5.   16   5  152 212 73 73 76 223 76 76 76  ✓  R
 6.   1  152 212 282 143 143 223 293 54 124 154 184 264 35 105 175 66 76  ✓  B
 7.   10   5  152 182 282 73 143 293 293 54 124 164 204 35 45 105 175 66 66  ✓  C
 8.   10  152 212 282 73 133 213 293 54 124 154 184 264 25 105 175 66 66  ✓  H
 9.   5   12  152 242 144 66 114 76 154 84 26 164 204 264 35 105 175 66 76  ✓  K
 10.   7   14  54 104 76 274 35 76 85 76  ✓  U
 11.   13   8  152 212 282 73 143 223 125 145 76 76  ✓  N
 12.   3   4   11  152 212 282 73 153 223 293 54 124 154 194 264 35 105 175 66 76  ✓  A
 13.   3   16  232 143 204 95 235 245 315 315 16 86 315 315 16 T
 14.  11 7 Y
 15.   14   6  162 212 13 76 76 76 76 76 76 76 76  ✓  P
 16.   1   17  64 222 223 223 64 76 64 76 76  ✓  W
 17.   16   4  152 212 282 73 143 213 293 54 124 184 184 264 35 105 175 76 76  ✓  D
 18.   15   3  152 212 83 143 223 56 76 66 66 66 76  ✓  M
 19.   4   11  152 202 272 63 123 203 293 44 124 154 174 234 25 95 165 66 66  ✓  F
 20.   17   2  162 83 24 213 223 76 76 76 76  ✓  S
 21.   8  15 16 Z
 22.   14   9  222 212 282 56 66 54 76 76 264 35 175 76 76  ✓  L
 23.  13  7  162 86 86 86 86 86 86 86 86 86 86 V
 24.   15   9  143 143 223 143 185 223 185 185 315 315 315 76 76 76 X
 25.   9   12  155 212 282 73 143 223 293 54 124 154 194 264 35 105 175 76 76  ✓  J
 26.   6   13  152 212 282 143 284 223 76 76 76 185  ✓  O
 27.   2  17 152 63 113 253 283 86 76 Q

 

Контрольные вопросы

  1. Анализ главных компонент (PCA)
  2. Итеративный алгоритм вычисления главных компонент
  3. PCA: матрица счетов и матрица нагрузок
  4. Оценка вклада главных компонент
  5. Метод наименьших квадратов (LS)
  6. Сингулярное разложение матрицы (SVD)
  7. Нормально распределённая случайная величина
  8. Правило: "трёх сигм"
  9. Среднее значение, среднеквадратичное отклонение, гистограмма выборки
  10. Наивный байесовский классификатор
  11. Задача распознавания Свой/Чужой (IFF). Ошибки распознавания
  12. Наивный байесовский классификатор: характеристики входных параметров, настройка весов
  13. Архитектура искусственной нейронной сети
  14. Математическая модель нейрона
  15. Функции активации нейрона
  16. Многослойный персептрон
  17. Геометрический смысл многослойного персептрона
  18. Линейная отделимость
  19. Обучение нейронной сети: с учителем, без учителя
  20. Обучение нейронной сети, обучающий набор
  21. Дельта-принцип обучения
  22. Метод обратного распространения ошибок
  23. Функция активации в методе обратного распространения ошибок
  24. Распознавание невыпуклой фигуры
  25. Задачи: классификации и кластеризации
  26. Кластеризация методом k-средних
  27. Cеть радиально-базисных функций (RBF)
  28. Обучение RBF-сети
  29. Устройство сети Кохонена (SOM)
  30. Обучение сети Кохонена
  31. Аппроксимирующие способности одно- и двухмерной сети Кохонена
  32. Использование сети Кохонена для визуализация многомерных данных
  33. Генетические алгоритмы. Общая идея и назначение
  34. Генотип и фенотип
  35. Представление генетической информации. Код Грея
  36. Генетические операторы
  37. Репродуктивный план Холланда
  38. Диплоидные генетические операторы
  39. Адаптационные свойства диплоидного генетического алгоритма
  40. Оптимизация методом роя частиц (PSO)
  41. Алгоритм "поиск косяком рыб" (FSS)
  42. Машина опорных векторов, случай линейно разделимых классов
  43. Обучение машины опорных векторов в случае линейно разделимых классов
  44. SVM: Сведение к задаче квадратичного программирования
  45. Алгоритм обучения машины опорных векторов
  46. SVM: Пространство признаков. Спрямляющее отображение
  47. Машина опорных векторов, обобщение на случай линейно неразделимых классов
  48. SVM: Ядра и повышение размерности пространства признаков
  49. Машина опорных векторов, обобщение на случай классов с нелинейными границами
  50. Свёртка (1D, 2D), её свойства. Различные способы вычисления свёртки
  51. Сглаживание и дифференцирование при помощи свёртки
  52. Фильтры Гаусса
  53. Архитектура свёрточной нейронной сети для распознавания изображений
  54. Типовые слои свёрточной нейронной сети