Квантование для моделей GenAI

Технический курс по оптимизации генеративных моделей (GenAI) с помощью методов квантования. Материал ориентирован на разработчиков, Data Scientist’ов и инженеров машинного обучения, работающих над развертыванием моделей на периферийных устройствах и в средах с ограниченными вычислительными ресурсами.

Курс состоит из 24 лекций общей продолжительностью около 2,5 часов. В процессе обучения рассматриваются теоретические основы представления чисел, типы данных (FP32, FP16, BFloat16, INT8) и практическая реализация методов сжатия моделей на Python с использованием библиотеки PyTorch. Основное внимание уделено снижению нагрузки на память и ускорению инференса моделей без существенной потери точности.