Efficient AI

Вводная
Содержание
  • Знакомство
  • Сроки и отчётность
  • Схема курса
  • Проект
  • Обзор
Знакомство
Сроки и отчётность
  • 📍Вводная
  • Блок 1
  • Блок 2
  • 🏝️1 мая
  • 🌹9 мая
  • Блок 3
  • 👨‍💻
  • 👨‍💻
  • ☠️Экзамен
Схема курса
  • 01
    Блок 1
    Матричное умножение — базовая операция AI

    • Алгоритмические методы ускорения матричного умножения
    • Аппаратные методы ускорения матричного умножения
    • Умножение матриц специального вида

  • 02
    Блок 2
    Нейронная сеть — базовая модель AI

    • Матричное умножение в нейронных сетях
    • Классические методы ускорения нейронных сетей
    • Эффективная тренировка нейронных сетей

  • 03
    Блок 3
    Трансформер — базовая архитектра AI

    • Архитектура трансформера
    • Оптимизация механизма внимания
    • Альтернативные архитектуры

Проект
C++

Нейронная сеть

  • Реализовать слой нейронной сети
  • Оптимизировать реализацию
  • Показать эффективность
  • Построить нейронную сеть
  • Внедрить реализованный слой

Перерыв
Вопрос №1

В вычислительной системе шина адреса состоит из 32 проводов. Какой максимальный объём памяти может быть адресован в данной системе?

  1. 2 Гб
  2. 4 Гб
  3. 16 Гб
  4. 64 Гб
Вопрос №2

Для чего используется TLB в архитектурах процессоров?

  1. Для управления питанием процессора
  2. Для ускорения доступа к памяти
  3. Для хранения данных о температуре процессора
  4. Для шифрования данных
Вопрос №3

Какую часть программы нужно распараллелить, чтобы получить ускорение в 90 раз на 100 процессорах?

  1. $\approx99\%$ программы
  2. $\approx90\%$ программы
  3. $\approx80\%$ программы
  4. $\approx50\%$ программы
Вопрос №4

Какое значение вернёт sizeof?


                    int* ptr;
                    std::cout << "Size of int*: " << sizeof(ptr) << " bytes" << std::endl;
                
  1. 1
  2. 2
  3. 4
  4. 8
Вопрос №5

Какая сложность лучшего алгоритма, который может найти пересечение двух отсортированных списков длин $n$ и $m$?

  1. $O(n^2)$
  2. $O(n \log(m))$
  3. $O(n+m)$
  4. $O(n m)$
Вопрос №6

Какая сложность матричного умножения матриц $A_{mn}$ и $B_{nk}$?

  1. $O(m+n+k)$
  2. $O(mnk)$
  3. $O(mn^2k)$
  4. $O(n^3)$
Вопрос №7

Какое преобразование выполняет двухслойный персептрон?

  1. $y=f_2(W_2 f_1(W_1 x))$
  2. $y=W_2 W_1 x$
  3. $y=\int_{0}^{\infty} f(x) e^{-i x \omega} \mathrm{d}x$
  4. $y=f_1(W_1 x + b_1)$
Вопрос №8

Как выглядит матрица поворота в 2D?

constantine.korikov@gmail.com