Лекции

#ТемаДата

M1

Классификация и кластеризация данных

L01Наивный байесовский классификатор (NBC). Задача распознавания Свой/Чужой (IFF)14 фев
L02Метод главных компонент (PCA)14 фев
L03Сингулярное разложение матрицы (SVD)21 фев
L04Метод наименьших квадратов (OLS)07 мар
L05Кластеризация методом k-средних. Сети радиально-базисных функций (RBF)14 мар

M2

Обучение методом обратного распространения ошибки

L06Однослойный персептрон. Линейная отделимость14 мар
L07Обучение с учителем. Дельта-принцип обучения. Функция активации21 мар
L08Обучение методом обратного распространения ошибки28 мар
L09Обратное распространение ошибки: корректировка весов скрытых слоёв04 апр

M3

Архитектуры нейронных сетей

L10Архитектура свёрточной нейронной сети (CNN)11 апр
L11Обучение свёрточной нейронной сети18 апр
L12Технические детали реализации свёрточной нейронной сети19 апр
L13Машина опорных векторов (SVM)26 апр
L14Линейно неразделимые классы. Ядра и повышение размерности02 мая
L15Алгоритм обучения машины опорных векторов (SVM)02 мая

M4

Генетические и эволюционные алгоритмы

L16Генетический алгоритм. Генетические операторы16 мая
L17Репродуктивный план Холланда. Гаплоидные и диплоидные популяции. Эволюционные алгоритмы: PSO, FSS23 мая

Практика

#ТемаСдать
M1P01Нормально распределённая случайная величина  17 фев
M1P02Анализ главных компонент  24 фев
M1P03Сингулярное разложение матрицы  03 мар
M1P04Метод наименьших квадратов. Эллипсоид рассеивания  10 мар
M1P05Кластеризация методом k-средних. Сети радиально-базисных функций  17 мар
M2P06Персептрон. Линейная отделимость  24 мар
M2P07Дельта-правило обучения  31 мар
M2P08Обратное распространение ошибки  07 апр
M2P09Почему нейросеть плохо обучается  14 апр
M3P10Свёрточная нейросеть  21 апр
M3P11Обучение свёрточной нейросети  06 мая
M3P12Метод опорных векторов: линейная разделимость и искривление фазового пространства  05 мая
M3P13Метод опорных векторов: линейно неразделимые классы. Ядра        14 мая
M3P14Метод опорных векторов      19 мая
M4P15Генетические операторы  26 мая
M4P16Репродуктивный план Холланда  26 мая
M4P17Эволюционные алгоритмы оптимизации: метод роя частиц (PSO), метод косяка рыб (FSS)  02 июн

Литература

  1. Николенко С., Кадурин А., Архангельская Е. Глубокое обучение. Погружение в мир нейронных сетей. — СПб.: Питер, 2018. — 480 c.  
  2. Гудфеллоу Я., Бенджио И., Курвилль А. Глубокое обучение. — М.: "ДМК Пресс", 2018. — 652 С.  
  3. Хайкин С. Нейронные сети. Полный курс. — М.: Вильямс, 2006. — 1104 С.  
  4. Корн Г., Корн Т. Справочник по математике для научных работников и инженеров. — М.: Наука, 1973. — 832 С.  
  5. LeCun Y., Cortes C., Burges C.J.C. The MNIST database of handwritten digits. —
  6. Эсбенсен К. Анализ многомерных данных. — Черноголовка: Изд-во ИПХФ РАН, 2005. — 160 С.  
  7. Померанцев А. Метод Главных Компонент (PCA). — Российское хемометрическое общество, 2011.  
  8. Солдатова О.П., Гаршин А.А. Применение сверточной нейронной сети для распознавания рукописных цифр. — Компьютерная оптика, т.34 (2010), №2. — с.252-259  
  9. Воронцов К.В. Лекции по методу опорных векторов. — 2007. — 18 С.    
  10. Nefedov Alexey. Support Vector Machines: A Simple Tutorial. — 2016. — 35 P.  
  11. Вороновский Г.К. и др. Генетические алгоритмы, Искусственные нейронные сети и Проблемы виртуальной реальности. — Харьков: "Основа", 1997. — 107 С.  
  12. Sean Luke Essentials of Metaheuristics. — LuLu. Second Edition (Online Version 2.2) October, 2015. — 261 P.  
  13. Цой Ю.Р. Метаэвристика (перевод книги "Essentials of Metaheuristics") — 2011. — 204 С.  
  14. Новиков Ф.А. Дискретная математика: Учебник для вузов. 2-е изд. Стандарт третьего поколения — СПб.: Питер, 2013. — 400 с.
  15. Карпенко А.П. Современные алгоритмы поисковой оптимизации. Алгоритмы, вдохновленные природой. 2-е изд. — Москва: Изд. МГТУ им.Н.Э.Баумана, 2017. — 446 с.

Результаты

№ЛекцииM1M2M3M4Итог
L M  P01   P02   P03   P04   P05   P06   P07   P08   P09   P10   P11   P12   P13   P14   P15   P16   P17 
 1.   5   13  252 252 43 143 203 34 145 145 145 235 ✓
 2.   5   9  172 242 33 95 95 236 65 ✓
 3.   11   5  172 252 33 173 263 44 174 155 205 225 26 276 226 286 ✓
 4.   9   6  172 242 33 113 173 243 313 74 194 204 65 294 145 205 265 ✓
 5.   12   2  172 242 33 113 183 303 74 115 65 75 25 165 295 295 ✓
 6.   3   13  172 242 33 163 74 303 144 15 185 65 165 276 286 26 295 276 ✓
 7.  7 11 172 83 93 143 223 243 266 286 266 286 286 286 ✓
 8.   10   6  172 252 33 103 293 144 184 16 26 26 65 125 36 146 236 ✓
 9.   12   8  172 242 33 113 273 34 94 184 65 105 286 286 ✓
 10.   4   11  172 242 33 113 173 243 313 74 214 55 65 55 286 ✓
 11.   1   12  315 242 33 133 253 293 254 75 75 315 ✓
 12.   2   3  172 242 33 103 243 313 164 75 75 75 75 ✓
 13.   14   8  172 242 33 103 173 44 313 224 206 256 206 286 296 26 ✓
 14.  6  1  172 252 23 123 173 243 313 254 144 224 15 35 195 195 235 ✓
 15.   11   2  172 242 33 123 203 273 204 85 215 35 ✓
 16.   8   15  172 144 144 256 173 175 185 215 276 286 246 ✓
 17.   15   7  172 242 33 103 253 14 94 184 85 85 206 226 286 ✓
 18.  8 4 184 184 125 265 125 125 255 305 ✓
 19.   6  14 172 242 33 243 313 313 284 185 65 ✓
 20.   2   16  172 242 33 133 233 293 85 276 95 255 255 276 286 ✓
 21.   7   10  83 242 83 123 173 233 14 15 274 274 65 15 296 296 276 ✓
 22.   1   10  172 242 33 103 173 243 14 84 164 274 65 65 295 276 ✓
 23.   3   12  172 242 33 113 173 283 84 65 75 286 276 ✓
 24.  9 4 154 154 286 286 286 286 ✓
 25.   10   3  172 242 33 113 173 243 313 74 194 224 65 45 165 205 286 ✓
 26.   13   5  172 242 33 123 193 263 204 85 286 65 75 25 286 ✓
 27.  13 1 182 242 33 26 ✓
 28.  4  9  16 214 16 26 26 ✓
 29.   16   7  172 276 103 173 243 276 286 85 ✓

 

Вопросы к экзамену

  1. Задачи классификации и кластеризации данных
  2. Наивный классификатор Байеса (NBC)
  3. Задача распознавания Свой/Чужой (IFF)
  4. Ошибки первого и второго рода
  5. Случайная величина, распределённая: равномерно, нормально, логнормально; многомерная нормально распределённая
  6. Правило трёх сигм
  7. Фазовое пространство, приборы, стандартизация данных
  8. Понижение и повышение размерности фазового пространства
  9. Метод главных компонент (PCA)
  10. Сингулярное разложение матрицы (SVD)
  11. Метод наименьших квадратов, линейная регрессия
  12. Кластеризация методом k-средних
  13. Нейронные сети радиально-базисных функций (RBF)
  14. Архитектура искусственной нейронной сети
  15. Дельта-принцип обучения, скорость обучения, регуляризация
  16. Обучение методом обратного распространения ошибки
  17. Многослойный персептрон
  18. Линейная отделимость, фунция активации
  19. Обучение с учителем: обучающий набор, функция потерь, эпоха обучения
  20. Корректировка весов скрытых слоёв при обучении методом обратного распространения ошибки
  21. Функция активации в методе обратного распространения ошибки
  22. Архитектура свёрточной нейросети (CNN), операция свёртки
  23. Функции активации (сигмоида, ReLU, SoftMax) и функция потерь свёрточной нейросети
  24. Обучение свёрточной нейросети
  25. Алгоритмы функционирования и обучения слоя свёртки
  26. Общая идея метода опорных векторов (SVM)
  27. Обобщение метода опорных векторов на случай линейно неразделимых классов
  28. Метод опорных векторов: ядра и повышение размерности
  29. Генетические и эволюционные алгоритмы
  30. Генетические операторы и репродуктивный план Холланда
  31. Гаплоидные и диплоидные популяции
  32. Эволюционные алгоритмы. Оптимизация методом роя частиц (PSO)
  33. Оптимизация методом поиска косяком рыб (FSS)