Введение в машинное обучение и анализ данных - 2020
Курс расширяет и углубляет набор тем, рекомендованный международным стандартом ACM/IEEE Computing Curricula 2001 по дисциплине «Машинное обучение и нейронные сети» (machine learning and neural networks) в разделе «Интеллектуальные системы» (intelligent systems).
В курсе рассматриваются основные задачи обучения по прецедентам: классификация, кластеризация, регрессия, понижение размерности. Изучаются методы их решения, как классические, так и новые, созданные за последние годы. Упор делается на глубокое понимание математических основ, взаимосвязей, достоинств и ограничений рассматриваемых методов. Отдельные теоремы приводятся с доказательствами.
Учебный план
Глава 1. Организационные вопросы и методика тестирования методов обучения | |||||
Вы можете
посмотреть лекцию
Лекция 1. Организационные вопросы |
|||||
Лекция 2. Основные понятия: объекты, признаки, матрицы | |||||
Лекция 3. Понятие алгоритма | |||||
Лекция 4. Примеры прикладных задач | |||||
Лекция 5. Итоги лекции | |||||
Тест 1 для курса # 21946 | |||||
Глава 2. Статистические (байесовские) методы классификации | |||||
Лекция 6. Постановка задачи классификации | |||||
Лекция 7. Параметрическое оценивание плотности | |||||
Лекция 8. Восстановление одномерных плоскостей | |||||
Лекция 9. Выбор метрики, ядра, ширины окна | |||||
Тест 2 для курса # 21946 | |||||
Глава 3. Нормальный байесовский классификатор | |||||
Лекция 10. Параметрическое оценивание плотности | |||||
Лекция 11. Нормальный дискриминантный анализ | |||||
Лекция 12. Проблема мультиколлинеарности | |||||
Глава 4. Восстановление смесей распределений | |||||
Лекция 13. Модель смеси распределений | |||||
Лекция 14. EM-алгоритм | |||||
Лекция 15. Практическая часть | |||||
Тест 3 для курса # 21946 | |||||
Глава 5. Метрические методы классификации | |||||
Лекция 16. Гипотеза компактности | |||||
Лекция 17. Метод потенциальных функций | |||||
Лекция 18. Обобщенный метрический классификатор | |||||
Лекция 19. Алгоритм STOLP | |||||
Лекция 20. Понятие конкурентного сходства | |||||
Тест 4 для курса # 21946 | |||||
Глава 6. Линейные методы классификации | |||||
Лекция 21. Задача построения разделяющей поверхности | |||||
Лекция 22. Линейный классификатор | |||||
Лекция 23. Алгоритм SG (Stochastic Gradient) | |||||
Лекция 24. Частные случаи метода SG | |||||
Тест 5 для курса # 21946 | |||||
Лекция 25. Регуляризация эмпирического риска | |||||
Лекция 26. Основание логистической регрессии | |||||
Тест 6 для курса # 21946 | |||||
Лекция 27. Метод опорных векторов (SVM) | |||||
Лекция 28. Задача поиска седловой точки функции Лангранжа | |||||
Лекция 29. Обоснование кусочно-линейной функции потерь | |||||
Лекция 30. Машина релевантных векторов RVM | |||||
Тест 7 для курса # 21946 | |||||
Глава 7. Регрессионный анализ и метод главных компонентов | |||||
Лекция 31. Задачи регрессии: основные понятия и определения | |||||
Лекция 32. Непараметрическая регрессия | |||||
Лекция 33. Линейная регрессия | |||||
Лекция 34. Регуляризация | |||||
Лекция 35. Метод главных компонент | |||||
Тест 8 для курса # 21946 | |||||
Глава 8. Нелинейная регрессия. Многослойные нейронные сети | |||||
Лекция 36. Метод наименьших квадратов (повторение) | |||||
Лекция 37. Нелинейная модель регрессии | |||||
Лекция 38. Искусственные нейронные сети | |||||
Лекция 39. Многослойная нейронная сеть | |||||
Тест 9 для курса # 21946 | |||||
Лекция 40. Повторение методов обучения многослойных нейронных сетей | |||||
Лекция 41. Прореживание сети (OBD – Optimal Brain Damage) | |||||
Лекция 42. Задача кластеризации (задачи обучения без учителя) | |||||
Лекция 43. Сеть Кохонена | |||||
Глава 9. Алгоритмы кластеризации | |||||
Лекция 44. Постановка задачи кластеризации | |||||
Лекция 45. Агломеративная иерархическая кластеризация | |||||
Лекция 46. Статистические методы кластеризации | |||||
Тест 10 для курса # 21946 | |||||
Глава 10. Методы частичного обучения | |||||
Лекция 47. Постановка задачи частичного обучения | |||||
Лекция 48. Методы кластеризации | |||||
Лекция 49. Методы классификации | |||||
Тест 11 для курса # 21946 | |||||
Глава 11. Композиции классификаторов. Бустинг | |||||
Лекция 50. Задачи обучения композиций | |||||
Лекция 51. Алгоритмы Бустинга | |||||
Тест 12 для курса # 21946 | |||||
Лекция 52. Обобщение алгоритма AdaBoost | |||||
Лекция 53. Стохастические методы построения композиций | |||||
Лекция 54. Квазилинейная композиция | |||||
Тест 13 для курса # 21946 | |||||
Глава 12. Оценки обобщающей способности | |||||
Лекция 55. Задачи выбора метода обучения | |||||
Лекция 56. Бинарная функция потерь. Матрицы ошибок | |||||
Лекция 57. Метод структорной минимизации риска | |||||
Лекция 58. Монотонные методы обучения | |||||
Тест 14 для курса # 21946 | |||||
Глава 13. Методы отбора признаков. Отбор признаков | |||||
Лекция 59. Скользящий контроль | |||||
Лекция 60. Алгоритм полного перебора | |||||
Лекция 61. Алгоритм жадного добавления | |||||
Лекция 62. Поиск в глубину | |||||
Лекция 63. Поиск в ширину | |||||
Лекция 64. Генетические алгоритмы поиска | |||||
Лекция 65. Случайный поиск с адаптацией | |||||
Тест 15 для курса # 21946 | |||||
Глава 14. Логические алгоритмы классификации | |||||
Лекция 66. Отбор признаков в задачах классификации | |||||
Лекция 67. Задачи интерпретируемости | |||||
Лекция 68. Задачи перебора конъюнкций | |||||
Лекция 69. Вспомогательная задача бинаризации вещественного признака | |||||
Лекция 70. Алгоритм решающего списка | |||||
Лекция 71. Достоинства и недостатки решающих деревьев | |||||
Лекция 72. Решающие леса | |||||
Тест 16 для курса # 21946 | |||||
Лекция 73. Взвешенное голосование закономерностей | |||||
Лекция 74. Чередующееся решающее дерево-ADT | |||||
Лекция 75. Обучение ADT методом бустинга | |||||
Лекция 76. Невнимательные решающие деревья-ODT | |||||
Глава 15. Поиск ассоциативных правил | |||||
Лекция 77. Методы поиска ассоциативных правил | |||||
Лекция 78. Алгоритм APriory | |||||
Лекция 79. Алгоритм FP-growth | |||||
Тест 17 для курса # 21946 | |||||
Глава 16. Коллаборативные итерации | |||||
Лекция 80. Постановка задачи коллаборативной фильтрации | |||||
Лекция 81. Методы коллаборативной фильтрации | |||||
Лекция 82. Понятие латентной модели | |||||
Лекция 83. Вероятностный латентный сематический анализ (PLSA) | |||||
Тест 18 для курса # 21946 | |||||
Глава 17. Тематическое моделирование | |||||
Лекция 84. Постановка задачи тематического моделирования | |||||
Лекция 85. Задачи максимизации правдоподобия | |||||
Лекция 86. Латентное размещение Дирихле | |||||
Лекция 87. Стандартная методика оценивания моделей языка | |||||
Лекция 88. Обобщения и модификации тематических моделей | |||||
Лекция 89. Проблема построения иерархических тематических моделей | |||||
Тест 19 для курса # 21946 | |||||
Глава 18. Обучение с подкреплением | |||||
Лекция 90. Постановка задачи о многоруком бандите | |||||
Лекция 91. Динамическое программирование | |||||
Тест 20 для курса # 21946 | |||||
Экзамен |