Введение в машинное обучение и анализ данных - 2020
Курс расширяет и углубляет набор тем, рекомендованный международным стандартом ACM/IEEE Computing Curricula 2001 по дисциплине «Машинное обучение и нейронные сети» (machine learning and neural networks) в разделе «Интеллектуальные системы» (intelligent systems).
В курсе рассматриваются основные задачи обучения по прецедентам: классификация, кластеризация, регрессия, понижение размерности. Изучаются методы их решения, как классические, так и новые, созданные за последние годы. Упор делается на глубокое понимание математических основ, взаимосвязей, достоинств и ограничений рассматриваемых методов. Отдельные теоремы приводятся с доказательствами.
Учебный план
| Глава 1. Организационные вопросы и методика тестирования методов обучения | |||||
| 
												
												 
							Вы можете 
														посмотреть лекцию																				 
												Лекция 1. Организационные вопросы					 | 
					|||||
| Лекция 2. Основные понятия: объекты, признаки, матрицы | |||||
| Лекция 3. Понятие алгоритма | |||||
| Лекция 4. Примеры прикладных задач | |||||
| Лекция 5. Итоги лекции | |||||
| Тест 1 для курса # 21946 | |||||
| Глава 2. Статистические (байесовские) методы классификации | |||||
| Лекция 6. Постановка задачи классификации | |||||
| Лекция 7. Параметрическое оценивание плотности | |||||
| Лекция 8. Восстановление одномерных плоскостей | |||||
| Лекция 9. Выбор метрики, ядра, ширины окна | |||||
| Тест 2 для курса # 21946 | |||||
| Глава 3. Нормальный байесовский классификатор | |||||
| Лекция 10. Параметрическое оценивание плотности | |||||
| Лекция 11. Нормальный дискриминантный анализ | |||||
| Лекция 12. Проблема мультиколлинеарности | |||||
| Глава 4. Восстановление смесей распределений | |||||
| Лекция 13. Модель смеси распределений | |||||
| Лекция 14. EM-алгоритм | |||||
| Лекция 15. Практическая часть | |||||
| Тест 3 для курса # 21946 | |||||
| Глава 5. Метрические методы классификации | |||||
| Лекция 16. Гипотеза компактности | |||||
| Лекция 17. Метод потенциальных функций | |||||
| Лекция 18. Обобщенный метрический классификатор | |||||
| Лекция 19. Алгоритм STOLP | |||||
| Лекция 20. Понятие конкурентного сходства | |||||
| Тест 4 для курса # 21946 | |||||
| Глава 6. Линейные методы классификации | |||||
| Лекция 21. Задача построения разделяющей поверхности | |||||
| Лекция 22. Линейный классификатор | |||||
| Лекция 23. Алгоритм SG (Stochastic Gradient) | |||||
| Лекция 24. Частные случаи метода SG | |||||
| Тест 5 для курса # 21946 | |||||
| Лекция 25. Регуляризация эмпирического риска | |||||
| Лекция 26. Основание логистической регрессии | |||||
| Тест 6 для курса # 21946 | |||||
| Лекция 27. Метод опорных векторов (SVM) | |||||
| Лекция 28. Задача поиска седловой точки функции Лангранжа | |||||
| Лекция 29. Обоснование кусочно-линейной функции потерь | |||||
| Лекция 30. Машина релевантных векторов RVM | |||||
| Тест 7 для курса # 21946 | |||||
| Глава 7. Регрессионный анализ и метод главных компонентов | |||||
| Лекция 31. Задачи регрессии: основные понятия и определения | |||||
| Лекция 32. Непараметрическая регрессия | |||||
| Лекция 33. Линейная регрессия | |||||
| Лекция 34. Регуляризация | |||||
| Лекция 35. Метод главных компонент | |||||
| Тест 8 для курса # 21946 | |||||
| Глава 8. Нелинейная регрессия. Многослойные нейронные сети | |||||
| Лекция 36. Метод наименьших квадратов (повторение) | |||||
| Лекция 37. Нелинейная модель регрессии | |||||
| Лекция 38. Искусственные нейронные сети | |||||
| Лекция 39. Многослойная нейронная сеть | |||||
| Тест 9 для курса # 21946 | |||||
| Лекция 40. Повторение методов обучения многослойных нейронных сетей | |||||
| Лекция 41. Прореживание сети (OBD – Optimal Brain Damage) | |||||
| Лекция 42. Задача кластеризации (задачи обучения без учителя) | |||||
| Лекция 43. Сеть Кохонена | |||||
| Глава 9. Алгоритмы кластеризации | |||||
| Лекция 44. Постановка задачи кластеризации | |||||
| Лекция 45. Агломеративная иерархическая кластеризация | |||||
| Лекция 46. Статистические методы кластеризации | |||||
| Тест 10 для курса # 21946 | |||||
| Глава 10. Методы частичного обучения | |||||
| Лекция 47. Постановка задачи частичного обучения | |||||
| Лекция 48. Методы кластеризации | |||||
| Лекция 49. Методы классификации | |||||
| Тест 11 для курса # 21946 | |||||
| Глава 11. Композиции классификаторов. Бустинг | |||||
| Лекция 50. Задачи обучения композиций | |||||
| Лекция 51. Алгоритмы Бустинга | |||||
| Тест 12 для курса # 21946 | |||||
| Лекция 52. Обобщение алгоритма AdaBoost | |||||
| Лекция 53. Стохастические методы построения композиций | |||||
| Лекция 54. Квазилинейная композиция | |||||
| Тест 13 для курса # 21946 | |||||
| Глава 12. Оценки обобщающей способности | |||||
| Лекция 55. Задачи выбора метода обучения | |||||
| Лекция 56. Бинарная функция потерь. Матрицы ошибок | |||||
| Лекция 57. Метод структорной минимизации риска | |||||
| Лекция 58. Монотонные методы обучения | |||||
| Тест 14 для курса # 21946 | |||||
| Глава 13. Методы отбора признаков. Отбор признаков | |||||
| Лекция 59. Скользящий контроль | |||||
| Лекция 60. Алгоритм полного перебора | |||||
| Лекция 61. Алгоритм жадного добавления | |||||
| Лекция 62. Поиск в глубину | |||||
| Лекция 63. Поиск в ширину | |||||
| Лекция 64. Генетические алгоритмы поиска | |||||
| Лекция 65. Случайный поиск с адаптацией | |||||
| Тест 15 для курса # 21946 | |||||
| Глава 14. Логические алгоритмы классификации | |||||
| Лекция 66. Отбор признаков в задачах классификации | |||||
| Лекция 67. Задачи интерпретируемости | |||||
| Лекция 68. Задачи перебора конъюнкций | |||||
| Лекция 69. Вспомогательная задача бинаризации вещественного признака | |||||
| Лекция 70. Алгоритм решающего списка | |||||
| Лекция 71. Достоинства и недостатки решающих деревьев | |||||
| Лекция 72. Решающие леса | |||||
| Тест 16 для курса # 21946 | |||||
| Лекция 73. Взвешенное голосование закономерностей | |||||
| Лекция 74. Чередующееся решающее дерево-ADT | |||||
| Лекция 75. Обучение ADT методом бустинга | |||||
| Лекция 76. Невнимательные решающие деревья-ODT | |||||
| Глава 15. Поиск ассоциативных правил | |||||
| Лекция 77. Методы поиска ассоциативных правил | |||||
| Лекция 78. Алгоритм APriory | |||||
| Лекция 79. Алгоритм FP-growth | |||||
| Тест 17 для курса # 21946 | |||||
| Глава 16. Коллаборативные итерации | |||||
| Лекция 80. Постановка задачи коллаборативной фильтрации | |||||
| Лекция 81. Методы коллаборативной фильтрации | |||||
| Лекция 82. Понятие латентной модели | |||||
| Лекция 83. Вероятностный латентный сематический анализ (PLSA) | |||||
| Тест 18 для курса # 21946 | |||||
| Глава 17. Тематическое моделирование | |||||
| Лекция 84. Постановка задачи тематического моделирования | |||||
| Лекция 85. Задачи максимизации правдоподобия | |||||
| Лекция 86. Латентное размещение Дирихле | |||||
| Лекция 87. Стандартная методика оценивания моделей языка | |||||
| Лекция 88. Обобщения и модификации тематических моделей | |||||
| Лекция 89. Проблема построения иерархических тематических моделей | |||||
| Тест 19 для курса # 21946 | |||||
| Глава 18. Обучение с подкреплением | |||||
| Лекция 90. Постановка задачи о многоруком бандите | |||||
| Лекция 91. Динамическое программирование | |||||
| Тест 20 для курса # 21946 | |||||
| Экзамен | |||||


