Лекции

#ТемаДата

M1

Классификация и кластеризация

L01Задача классификации и искусственная нейронная сеть08 фев
L02Наивный байесовский классификатор (NBC)15 фев
L03Понижение размерности. Метод главных компонент (PCA)22 фев
L04Кластеризация методом k-средних и сети радиально-базисных функций (RBF)29 фев

M2

Метод опорных векторов (SVM)

L05Линейная разделимость, опорные векторы, повышение размерности07 мар
L06Метод опорных векторов (SVM): ядра и штрафы14 мар
L07Сведение обучения SVM к решению задачи квадратичного программирования21 мар

M3

Метод обратного распространения ошибки

L08Обучение с учителем. Дельта-правило обучения28 мар
L09Обучение многослойного персептрона методом обратного распространения ошибки04 апр
L10Свёрточные нейронные сети (CNN). Операция свёртки11 апр
L11Архитектура свёрточных нейронных сетей (CNN)18 апр
L12Обучение свёрточных нейронных сетей (CNN) методом обратного распространения ошибки25 апр
L13Обучение свёрточных нейронных сетей (CNN) методом обратного распространения ошибки (завершение)29 апр

M4

Эволюционные и генетические алгоритмы

L14Генетическое кодирование и генетические операторы02 мая
L15Репродуктивный план Холланда10 мая
L16Гаплоидные и диплоидные популяции16 мая
L17Эволюционные алгоритмы: оптимизация методом роя частиц (PSO)23 мая

Практика

#ТемаСдать
М1T01Многослойный персептрон12 фев
М1T02Наивный байесовский классификатор19 фев
М1T03Метод главных компонент26 фев
М1T04Метод k-средних и RBF-сети04 мар
М2T05Линейная разделимость, опорные векторы, повышение размерности11 мар
М2T06Метод опорных векторов: ядра и штрафы18 мар
М2T07Обучение SVM последовательным методом активных ограничений (IncAS)25 мар
М3T08Обучение с учителем. Дельта-правило обучения01 апр
М3T09Метод обратного распространения ошибки08 апр
М3T10Свёртка. Фильтрация изображений15 апр
М3T11Архитектура свёрточных нейронных сетей22 апр
М3T12Обучение свёрточных нейронных сетей методом обратного распространения ошибки. Часть 129 апр
М3T12Обучение свёрточных нейронных сетей методом обратного распространения ошибки. Часть 208 мая
М4T13Генетическое кодирование, генетические операции06 мая
М4T14Репродуктивный план Холланда14 мая
М4T15Гаплоидные и диплоидные алгоритмы21 мая
М4T16Оптимизация методом роя частиц (PSO)23 мая

Литература

  1. Хайкин С. Нейронные сети. Полный курс. 2-е изд. — М.: Вильямс, 2006. — 1104 С.  
  2. Котельников И.А., Чеботаев П.З. LaTeX по-русски. 3-е изд. — Новосибирск: Сибирский хронограф, 2004. — 496 с.
  3. Львовский С.М. Набор и вёрстка в системе LATEX. 3-е изд. — 2003 — 488 c.
  4. Overleaf Online LaTeX Editor — © 2024 Overleaf  
  5. Wolfram Language & System. Documentation Center — © 2024 Wolfram  
  6. Корн Г., Корн Т. Справочник по математике для научных работников и инженеров. — М.: Наука, 1973. — 832 С.  
  7. LeCun Y., Cortes C., Burges C.J.C. The MNIST database of handwritten digits. — The home of the database  
  8. Эсбенсен К. Анализ многомерных данных. — Черноголовка: Изд-во ИПХФ РАН, 2005. — 160 С.  
  9. Померанцев А. Метод главных компонент. — СПб: Российское Хемометрическое Общество. — 41 с.
  10. Кучерявский С., Панчук В., Монахова Ю., Кирсанов Д. Введение в хемометрику. v.1.0.0 — СПб: Российское Хемометрическое Общество, 2023. — 372 с.
  11. Гудфеллоу Я., Бенджио И., Курвилль А. Глубокое обучение. — М.: "ДМК Пресс", 2017. — 652 С.  
  12. Воронцов К.В. Лекции по методу опорных векторов. — 2007. — 18 С.  
  13. Микелуччи У. Прикладное глубокое обучение. Подход к пониманию глубоких нейронных сетей на основе метода кейсов. — СПб.: БХВ-Петербург, 2020. — 368 С.  
  14. Гонсалес Р., Вудс Р. Цифровая обработка изображений. Издание 3-е. — М.: "Техносфера", 2012. — 1104 С.  
  15. Николенко С., Кадурин А., Архангельская Е. Глубокое обучение. Погружение в мир нейронных сетей. — СПб.: Питер, 2020. — 480 c.  
  16. Sumit Saha A Comprehensive Guide to Convolutional Neural Networks – the ELI5 way — Towards Data Science. Dec 15, 2018.  
  17. Голиков И. Сверточная нейронная сеть. В 2-х частях. — Хабр, 2018:
    Ч.1 Структура, топология, функции активации и обучающее множество. — 20 С.  
    Ч.2 Обучение алгоритмом обратного распространения ошибки. — 10 С.  
  18. Вороновский Г.К. и др. Генетические алгоритмы, Искусственные нейронные сети и Проблемы виртуальной реальности. — Харьков: "Основа", 1997. — 107 С.  
  19. Sean Luke Essentials of Metaheuristics. — Second Edition (Online Version 2.2). George Mason University, 2015. — 263 P.  
  20. Цой Ю.Р. Метаэвристика (перевод книги "Essentials of Metaheuristics") — 2011. — 204 С.  
  21. Новиков Ф.А. Дискретная математика: Учебник для вузов. 3-е изд. — СПб.: Питер, 2009. — 384 с.
  22. Карпенко А.П. Современные алгоритмы поисковой оптимизации. Алгоритмы, вдохновленные природой. 3-е изд. — Москва: Изд. МГТУ им.Н.Э.Баумана, 2021. — 449 с.
  23. Клименко К.В. Нейроэволюционные алгоритмы и глубокое обучение беспилотных моделей автомобилей в генерируемых 2D- и 3D-симуляциях дорожного окружении. Дипломная работа — Минск: БГУ, 2022. — 81 с.
  24. Иванов Г. Свёрточные нейросети. —
  25. Jefkine K. Backpropagation In Convolutional Neural Networks. — 2016. —
  26. Dumoulin V., Visin F. A guide to convolution arithmetic for deep learning. — arXiv, 2018. — 31 p.
  27. Сапунов Г. Deep Learning. — 195 с.

Результаты

№ ЛекцииМ1М2М3М4Итог
L M  T01   T02   T03   T04   T05   T06   T07   T08   T09   T10   T11   T12   T13   T14   T15   T16 
 1.   4   8  122 103 195 195 195 195 195 195 09205
 2.   2   4  122 192 242 13 93 243 54 64 185 225 14214
 3.   6   14  122 192 262 43 113 183 273 313 104 174 214 65 145 225 235 13612
 4.   5   3  122 192 242 43 153 253 293 303 64 15 35 235 15010
 5.   7   10  223 134 15 214 154 235 09110
 6.   9   7  242 43 225 75 55 15114
 7.   8   3  132 192 262 43 113 223 223 74 134 95 95 125 225 14007
 8.   11   6  122 262 43 113 193 24 64 74 244 215 235 08110
 9.   2   5  122 182 262 33 133 193 283 104 144 184 244 125 235 15114
 10.   5   14  122 192 262 53 193 243 253 84 15 95 185 105 14311
 11.   8   5  132 262 24 24 225 225 11013
 12.   6   2  122 192 282 43 303 24 84 264 225 15112
 13.   12   4  122 182 103 103 303 303 303 313 215 215 215 225 235 11210
 14.   15   3  152 202 203 225 225 195 09103
 15.   7   12  142 173 74 195 225 225 225 11112
 16.   6   2  112 192 262 43 133 193 273 24 134 174 165 165 225 08108
 17.   8   5  112 192 272 53 163 243 293 114 234 125 205 235 10011
 18.   4   3  122 103 262 43 233 233 44 164 15 185 15315
 19.   16   7  122 192 113 84 215 215 225 08010
 20.   5   15  122 182 243 243 253 224 154 165 225 10212
 21.   6   9  122 192 262 73 193 193 104 104 225 225 10014
 22.   4   10  232 262 93 103 64 74 214 225 65 145 11102
 23.   9   10  142 225 225 225 245 05004
 24.   3   7  122 192 282 53 44 283 303 104 15 15 115 195 235 14114
 25.   9   14  162 272 235 235 95 07003
 26.   2   8  13 13 125 125 125 125 245 09006
 27.   9   16  272 245 245 245 06006
 28.   9   15  182 93 244 225 274 225 09002
 29.   2   15  122 143 294 225 225 225 12109
 30.   9   11  235 235 235 235 06007
 31.   7   12  182 83 243 274 105 195 215 215 255 11210
 32.   16   8  132 262 133 183 273 14 245 09208
 33.   6   4  122 253 282 93 193 253 253 44 214 244 304 195 245 11206
 34.   14   10  225 225 225 225 04203
 35.   5   4  212 53 113 165 165 195 225 11010
 36.   11   6  122 252 43 143 213 14 74 74 244 165 215 215 06108
 37.   3   2  112 172 242 23 83 153 213 303 64 124 184 15 35 115 195 215 17106

 

Контрольные вопросы

    1. Классификация и кластеризация

  1. Задачи классификации и кластеризации данных
  2. Архитектура искусственной нейронной сети
  3. Искусственный нейрон и линейная отделимость
  4. Нейронные сети, реализующие логические операторы
  5. Фазовое пространство, стандартизация данных
  6. Понижение и повышение размерности фазового пространства
  7. Задача распознавания Свой/Чужой (IFF). Ошибки первого и второго рода
  8. Случайная величина: равномерно распределённая, нормально распределённая. Среднее значение, стандартное (среднеквадратичное) отклонение
  9. Функция плотности вероятности, гистограмма. Правило трёх сигм
  10. Многомерная нормально распределённая случайная величина, центроид, ковариационная матрица, эллипсоид рассеивания
  11. Наивный классификатор Байеса (NBC)
  12. Метод наименьших квадратов, линейная регрессия
  13. Метод главных компонент (PCA)
  14. Сингулярное разложение матрицы (SVD), псевдообратная матрица
  15. Кластеризация методом k-средних
  16. Нейронные сети радиально-базисных функций (RBF)

    17. 2. Метод опорных векторов

  17. Общая идея метода опорных векторов (SVM)
  18. Метод опорных векторов в случае линейно разделимых классов
  19. Обобщение метода опорных векторов на случай линейно неразделимых классов
  20. Метод опорных векторов: ядра и повышение размерности
  21. Задача условной оптимизации, множители Лагранжа, двойственная задача оптимизации
  22. Решение задачи квадратичного программирования последовательным методом активных ограничений (IncAS)

    23. 3. Метод обратного распространения ошибки

  23. Искусственный нейрон. Однослойный персептрон
  24. Линейная отделимость, функция активации
  25. Обучение с учителем. Дельта-правило обучения
  26. Многослойный персептрон
  27. Обучение с учителем: обучающий набор, функция потерь, эпоха обучения
  28. Обучение методом обратного распространения ошибки
  29. Функция активации и её производная в методе обратного распространения ошибки
  30. Корректировка весов скрытых слоёв при обучении методом обратного распространения ошибки
  31. Архитектура свёрточной нейросети (CNN), операция свёртки
  32. Обучение свёрточной нейросети
  33. Алгоритмы функционирования и обучения слоя свёртки

    34. 4. Эволюционные и генетические алгоритмы

  34. Генетические алгоритмы, генетическое кодирование, генетические операторы, код Грея
  35. Репродуктивный план Холланда и его вариации, селекция, элитаризм, элиминация
  36. Диплоидные генетические алгоритмы, разрешение конфликтов признаков в паре гомологичных генов
  37. Эволюционные алгоритмы. Оптимизация роем частиц (PSO)