Компьютерным зрением я с переменным успехом увлекаюсь еще с института. И начав заниматься реализацией vision моделей(YOLOv11n) захотелось сделать что-то ещё. Не так давно появилось семейство моделей Depth Anything от Byte Dance которые могут по монокулярному изображению построить карту глубины и оценить параметры камеры. C ними я экспериментировал в cимуляторе. Последняя модель DepthAnything3 получила облегченную архитектуру, это в основном ViT(Visual Transformer). И я хочу попробовать её реализовать с использованием Adept и запустить на какой-то мобильной платформе. И возможно показать на ROS Meetup. Когда-то давно я делал робота с монокулярным SLAM и использованием ROS, хочу попробовать использовать эту модель как датчик глубины и тоже интегрировать в ROS2.
А так как это трансформер то думаю её реализация посодействует появлению в библиотеке модулей необходимых для реализации в том числе и LLM.
Правда из-за этого я наверное пока отложу или замедлю эксперименты с MLIR.
#DA3 #Vision #ROS #ViT
О канале «Adept | Машинное обучение | Открытое ПО»
«Adept | Машинное обучение | Открытое ПО» - канал из категории «Технологии», подключенный к сервису кросспостинга MaxGate. Публикации канала синхронизируются между Telegram и мессенджером MAX, а на этой странице собраны ссылки на обе версии канала.
Сейчас у канала 176 подписчиков суммарно в Telegram и MAX. За последние 28 дней в истории MaxGate учтено 5 публикаций, поэтому перед подпиской можно оценить не только размер аудитории, но и регулярность обновлений.
Чтобы подписаться, используйте кнопки «Открыть в MAX» и «Открыть в Telegram» в верхней части страницы. У отдельных постов ссылка может быть доступна в обоих мессенджерах или только в одном из них, если MaxGate получил такой URL из истории обработки.
Число постов
1
0
10.1111.1112.1113.1114.1115.1116.11
В master влился большой пакет оптимизаций Vulkan-бэкенда. Если коротко: заметно быстрее стали свёртки, BatchNorm, поэлементные операции и обучение.
Свёртки (conv2d)
Свёртки — самая тяжёлая часть vision моделей, и основная работа шла для них. Появился новый универсальный алгоритм implicit GEMM для прямого и обратного прохода. Для распространённого случая 3x3 добавили отдельное ядро, которое аккуратнее работает с быстрой памятью GPU, а затем переработали его так, чтобы каждый поток считал сразу четыре пикселя. Для небольших блоков подключили алгоритм Winograd — он математически хитрее, но требует меньше вычислений.
Отдельно ускорили:
- depthwise-свёртки 3x3 — до 3,9 раза на подходящих формах;
- свёртки 1x1 — лучше подобраны размеры блоков и распределение работы по GPU, обратный проход по весам ускорился в 1,5–5 раз;
- обратный проход по входу (dgrad) для 3x3 — на 21–35% быстрее за счёт трюка с «перевёрнутыми» весами.
Все ядра теперь выбираются через единый реестр стратегий, а не разбросаны по коду.
BatchNorm
Раньше статистики батча считались целой цепочкой мелких ядер: сумма, дисперсия, деление, обновление running-статистик. Теперь это делает одно ядро bnstats. Похожая фьюзия сделана и для обратного прохода. Число запусков ядер на шаг обучения упало на 26%, а шаг обучения стал быстрее на 3–5%.
Поэлементные операции
Сложение, умножение, fill, активации (SiLU, ReLU, LeakyReLU, Clamp) перевели на векторные ядра: GPU обрабатывает по 4 значения за раз (для double — по 2), а хвостовые элементы добираются скалярно. Заодно убрали лишние копирования в cat/split. Например, конкатенация трёх тензоров стала быстрее на 58%, а split — на 18–22%.
Меньше простоев
Два важных улучшения не про математику, а про организацию работы:
- GPU научился принимать новые задачи, не дожидаясь полного завершения предыдущей (очередь отправки). Это сразу дало ~13% на инференсе.
- Мелкие матричные умножения в attention-голове начали объединяться в один запуск: 32 вызова превратились в 2, а сами операции стали в 2,4 раза быстрее.
Обучение
Градиенты теперь выделяются лениво и повторно используются между шагами, а обнуление идёт на месте, без создания новых тензоров. Оптимизатор Adam получил объединённое ядро и пропускает параметры без градиентов. Итог: количество запусков ядер на шаг обучения сократилось с 3129 до 1273 — почти в 2,5 раза.
Что получилось в цифрах
Сценарий Было Стало Ускорение
YOLO11n, 320×320, batch 8 10,15 мс 7,53 мс −26%
YOLO11n, 640×640, batch 4 18,62 мс 13,72 мс −26%
Шаг обучения, 320×320 b8 36,41 мс 28,08 мс −23%
Шаг обучения, 640×640 b4 65,30 мс 51,95 мс −20%
На инференсе разрыв с PyTorch в FP32 сократился примерно с 2,1x до 1,5x, на обучении — с 2,4x до ~1,8x.
Как проверяли
Под каждое изменение писали A/B-замеры: старую и новую сборку гоняли по очереди на одном железе (RTX 4070 Laptop), сравнивали медианы, отдельно снимали трейсы Vulkan и Nsight.
#GPU #Vulkan #Performance
В основную ветку добавлена новая функциональность и API
- Удалён класс Variable теперь Tensor сам является autograd-узлом.
- Удалён метод .data() - используйте Tensor напрямую и detach() для значений без графа.
- requires_grad задаётся явно через requires_grad_().
- Активации/лоссы переехали в adept::nn::functional.
- Добавлены графовый режим и tracing.
1. Variable → Tensor
Было:
Variable forward(Variable x) { return relu(l1(x)); }
Variable x(batch[0].to(dev), false);
auto loss = cross_entropy_with_logits(net(x), Variable(y.to(dev), false));
auto v = loss.data().cpu().at({0,0});
Стало:
using namespace adept::nn::functional;
Tensor forward(Tensor x) { return relu(l1(x)); }
Tensor x = batch[0].to(dev);
auto loss = cross_entropy_with_logits(net(x), y.to(dev));
auto v = loss.detach().cpu().at({0,0});
2. requires_grad и .data()
// было
Variable v(x); v.requires_grad(false);
Tensor raw = v.data();
// стало
Tensor t = x;
t.requires_grad_(); // включить
t.requires_grad_(false); // выключить
Tensor raw = t.detach(); // без узла графа
Обычный Tensor по умолчанию без градиента. Свои параметры помечайте requires_grad_(). Cлои и оптимизаторы делают это сами. Для изменения данных на месте: weight_.copy_from(new_weight).
3. Заголовочные файлы и namespace
// было
#include
#include
#include
using namespace adept;
// стало
#include
#include
using namespace adept::nn::functional;
relu, cross_entropy_with_logits, MSE, bce_loss и т.п. больше не лежат в adept::; используйте adept::nn::functional::....
4. Свои операции
Backward-правила теперь capture-free и читают состояние из OpContext:
detail::OpContext ctx("my_op");
ctx.add_input("input", input);
ctx.set_forward([](const std::vector& in, detail::OpContext&) {
return std::vector{my_op_fwd(in[0].detach())};
});
ctx.set_backward([](const Tensor& g, const detail::OpContext& c) {
if (c.input("input").requires_grad())
detail::add_grad(c.input("input"), my_op_bwd(g));
});
return detail::make_op(result, std::move(ctx));
Для нескольких выходов используется detail::make_multi_op.
5.Tracing (трассировка графа)
По умолчанию в Adept используется Eager режим: записывается только gradient tape (операции с `requires_grad`). В новом режиме `Compiled` записываются все операции.
#include
auto traced = trace_module(model, [&](const std::vector& in) {
return std::vector{model(in[0])};
}, {example_input}, TraceOptions{.input_names = {"x"}});
Tensor out = traced.forward({runtime_input})[0];
Режим графа: GraphModeGuard(graph_mode_t::Compiled).
Также TraceOptions включают оптимизации: constant folding, CSE, алгебраические упрощения, DCE и анализ fusion-кандидатов.
Ограничения Tracing
- трассировка только для inference: TracedGraph умеет только forward, backprop через него не идёт;
- фиксируется сигнатура входов: количество, shape, dtype и device должны совпадать;
- трассируемая функция выполняется один раз на example inputs, поэтому чтение значений на хосте запрещено;
Ветвления должны зависеть от структуры графа, а не от значений тензоров;
- record_gradients=false по умолчанию — трассированный граф не хранит градиенты.
6. Python
Python API также обновлен в соответствии с изменениями.
#BreakingChanges #API #Tracing #Graph
Несколько дней потратил на то чтобы навайбкодить понижение из StableHLO диалекта в SPIR-V с использованием LLVM MLIR. В целом это получилось и я смог запускать скомпилированные шейдеры в среде Adept. Но производительность таких шейдеров существенно ниже написанных вручную. Например для поэлементных операций проблема в том как правильно сформировать размеры сетки и блоков. А для GEMM нужно реализовать тайлинг. И существующего компиляторного прохода для таких вещей как я понял нет, есть только вариант применения специального вида трансформации для которого надо самому писать скрипты. А проходы которые преобразуют циклы в параллельные циклы сейчас не поддерживают тайлинг и блоки. В общем задача оказалась существенно сложнее.
- Пока буду переносить в мастер ветку код для полноценного представления вычислительного графа и слияние Tensor и Variable в одну сущность.
- Потом есть идея отказаться от преобразования гарфа в StableHLO и сразу генерировать linalg диалект для MLIR.
- И ограничится пока только поэлементными операциями над тензорами что бы проверить можно ли получить аффективный fusing операций в одном шейдере с помощью компилятора.
#IR #SPIR-V #MLIR #LLVM #Tensor