Фокус: как устроены современные языковые модели изнутри, ИИ как инструмент и соисследователь в научной работе.
Разбор устройства LLM на уровне архитектуры и алгоритмов — от токенизации до обучения с подкреплением. Вы поймете, почему модели ведут себя именно так, научитесь осознанно выбирать и настраивать их под задачу и получите фундамент для собственной научной или инженерной работы с ИИ.
Ключевые темы:
Основы языковых моделей. Токенизация, механизм внимания, архитектура трансформера. Алгоритмы декодирования и генерация текста.
Обучение и адаптация моделей. Предобучение, fine-tuning, параметр-эффективные методы настройки под задачу.
Расширение возможностей. Мультимодальные модели, архитектура RAG и работа с внешними источниками знаний.
Рассуждение и выравнивание. Обучение с подкреплением, reasoning-модели и логические рассуждения.
Этика и ответственность. Границы применимости и интерпретируемость моделей, предвзятость и галлюцинации, социальные риски и регулирование ИИ.
Пререквизиты. Трек рассчитан на подготовленных студентов и требует серьезной базы. Убедитесь, что вы владеете следующим:
Python на уровне разработчика. ООП, работа с внешними библиотеками, отладка чужого кода. Уверенное владение NumPy и PyTorch — код на занятиях пишется и читается с первого дня, времени на освоение синтаксиса не будет.
Математика. Линейная алгебра (матричные операции, собственные значения, разложения), матанализ (производные, градиенты, цепное правило), теория вероятностей и математическая статистика.
Машинное обучение. Уверенное понимание постановки задач обучения с учителем и без, функций потерь, градиентного спуска и его модификаций, регуляризации, метрик качества. Базовое знакомство с нейронными сетями (полносвязные, сверточные, рекуррентные) — курс начинается с уровня, на котором эти темы считаются пройденными.
Внимание: число мест на продвинутом треке ограничено. Рекомендуем определиться с выбором заранее.