Данный курс создан для программистов, аналитиков данных и ML-инженеров уровня Junior-Intern, желающих совершить качественный рывок в область DL и NLP.
Главная особенность курса — глубокий академический и научный подход. Мы не ограничиваемся простым разбором библиотек и поверхностным запуском кода. Цель — научить слушателей мыслить на уровне гипотез, свободно ориентироваться в мировых исследованиях, понимать скрытую математику алгоритмов, самостоятельно разрабатывать алгоритмы дообучения LLM.
Начнем с прочного фундамента глубокого обучения, разобрав устройство сверточных сетей, архитектуру ResNet и ключевые публикации по компьютерному зрению, которые подготовят вас к переходу в NLP, так как многое в LLM досталось именно из компьютерного зрения. Затем мы детально изучим основы обработки естественного языка: от механизмов токенизации до устройства архитектуры Transformer, включая концепции Encoder и Decoder и классические исторические статьи, с которых началось развитие NLP.
Центральная часть программы будет посвящена эпохе больших языковых моделей. Слушатели познакомятся с устройством современных LLM, включая такие архитектуры, как Llama и новейшая DeepSeek R1. Мы разберем законы масштабирования (Scaling Laws), принципы инференса, методы проектирования системных промптов, а также скрытые инженерные трюки и секреты обучения моделей.
Особый упор в курсе сделан на продвинутый этап Post-Training, который разделен на два больших блока. Сначала освоим Supervised Fine-Tuning: поймем, как устроен backpropagation в LLM, где и как собирать качественные датасеты, а также как адаптировать модели под конкретную доменную область и жесткий формат вывода. Затем перейдем к обучению с подкреплением (Reinforcement Learning). Разберем принципы построения функций вознаграждения и сравним самые актуальные алгоритмы, такие как PPO, DPO и GRPO, научившись кратно повышать точность моделей на сложных классах задач.
Устройство сверточных сетей, архитектура ResNet, ключевые публикации по компьютерному зрению — то, что потом перешло в LLM.
От механизмов токенизации до архитектуры Transformer: Encoder, Decoder и классические исторические статьи, с которых началось развитие NLP.
Устройство современных LLM: Llama и DeepSeek R1. Законы масштабирования (Scaling Laws), принципы инференса, проектирование системных промптов, инженерные трюки и секреты обучения моделей.
Как устроен backpropagation в LLM, где и как собирать качественные датасеты, адаптация моделей под доменную область и жесткий формат вывода.
Принципы построения функций вознаграждения; сравнение актуальных алгоритмов PPO, DPO и GRPO; кратное повышение точности моделей на сложных классах задач.
К концу обучения слушатели получат не просто прикладные навыки дообучения и программирования, инференса и работы с данными, а культуру работы с научной литературой: узнаем, где искать самые свежие публикации, как правильно их читать, на какие детали обращать внимание и как успешно внедрять передовые теоретические идеи в свои практические проекты.
Проекты по дообучению моделей, сбору датасетов и реализации архитектур.
Как работают современные LLM и как получать от них кратно больше пользы, чем при «слепом» использовании.
SFT и RL (PPO, DPO, GRPO): адаптация моделей под домен и формат вывода.
Где искать свежие публикации, как их читать и внедрять идеи в практические проекты.
Курс обещает быть очень насыщенным и интересным для специалистов из любой области IT — от веб-разработки до аналитиков данных. Слушатели пополнят свой GitHub проектами по дообучению моделей, сбору датасетов, реализации архитектур, поймут как работают современные LLM и как получать от них кратно больше пользы, чем при «слепом» использовании.
От веб-разработки до backend: переход в DL и NLP с инженерной базой.
Работа с данными и датасетами, инференс, оценка и дообучение моделей.
Скрытая математика алгоритмов и самостоятельная разработка алгоритмов дообучения LLM.
@wowskills_founder · программа, расписание и формат (онлайн / в офисе) согласуются под команду