NVidia CUDA внутри контейнера LXD.

Одна из самых ожидаемых мной ИТ технологий это лёгкое прокидывание GPU внутрь виртуальной среды без выделения отдельной карты под эти цели. В принципе она появилась и имя ей - KVMGT. Осталось дождаться простоты использования её на десктопе. И хоть контейнеры иногда называют лёгкой виртуализацией, но внутри них может быть гостем только Linux система. В статье Стефана Грабера (Stéphane Graber) речь пойдёт о возможности внутри контейнера LXD использовать GPU хоста.

GPU внутри контейнера

LXD поддерживает GPU passthrough, но реализовано совсем по-другому, чем вы ожидаете по аналогии с виртуальными машинами. Вместо проброса сырого PCI устройства (raw PCI device), есть хост-система со всеми необходимыми драйверами и внутрь контейнера передаются результирующие ноды устройства (device nodes).

В данной статье основное внимание уделено NVidia и её инструментарию CUDA, но технология проброса будет работать с любым GPU. Продукция NVidia просто именно то, что есть в данный момент на руках.

Тестовая система обладает двумя NVidia GT 730. Это дешёвые, малопроизводительные графические процессоры, которые обладают редким плюсом, что существуют в таких PCI картах, что прекрасно вписываются в один из доступных серверов и не требуют дополнительного питания. Для реальных нагрузок CUDA вам лучше подыскать что-то более серьёзное.

Настройка хоста

Нужно установить CUDA инструментарий и драйвера.
wget developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/cuda-repo-ubuntu1604_8.0.61-1_amd64.deb
sudo dpkg -i cuda-repo-ubuntu1604_8.0.61-1_amd64.deb
sudo apt update
sudo apt install cuda
После перезагрузки нужно убедиться что NVidia GPU работают.
nvidia-smi

+-----------------------------------------------------------------------------+
| NVIDIA-SMI 375.39                 Driver Version: 375.39                    |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  GeForce GT 730      Off  | 0000:02:06.0     N/A |                  N/A |
| 30%   30C    P0    N/A /  N/A |      0MiB /  2001MiB |     N/A      Default |
+-------------------------------+----------------------+----------------------+
|   1  GeForce GT 730      Off  | 0000:02:08.0     N/A |                  N/A |
| 30%   26C    P0    N/A /  N/A |      0MiB /  2001MiB |     N/A      Default |
+-------------------------------+----------------------+----------------------+
+-----------------------------------------------------------------------------+
| Processes:                                                       GPU Memory |
|  GPU       PID  Type  Process name                               Usage      |
|=============================================================================|
|    0                  Not Supported                                         |
|    1                  Not Supported                                         |
+-----------------------------------------------------------------------------+

и CUDA так же
/usr/local/cuda-8.0/extras/demo_suite/bandwidthTest

[CUDA Bandwidth Test] - Starting...
Running on...

 Device 0: GeForce GT 730
 Quick Mode

 Host to Device Bandwidth, 1 Device(s)
 PINNED Memory Transfers
   Transfer Size (Bytes)	Bandwidth(MB/s)
   33554432			3059.4

 Device to Host Bandwidth, 1 Device(s)
 PINNED Memory Transfers
   Transfer Size (Bytes)	Bandwidth(MB/s)
   33554432			3267.4

 Device to Device Bandwidth, 1 Device(s)
 PINNED Memory Transfers
   Transfer Size (Bytes)	Bandwidth(MB/s)
   33554432			30805.1

Result = PASS

NOTE: The CUDA Samples are not meant for performance measurements. Results may vary when GPU Boost is enabled.

Настройка контейнера

Вначале создадим обычный контейнер с Ubuntu 16.04
lxc launch ubuntu:16.04 cuda

Creating cuda
Starting cuda

Нужно установить демонстрационный инструмент CUDA
lxc exec cuda -- wget developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/cuda-repo-ubuntu1604_8.0.61-1_amd64.deb
lxc exec cuda -- dpkg -i cuda-repo-ubuntu1604_8.0.61-1_amd64.deb
lxc exec cuda -- apt update
lxc exec cuda -- apt install cuda-demo-suite-8-0 --no-install-recommends
И пробуем на данном этапе выполнить
lxc exec cuda -- nvidia-smi

NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver. Make sure that the latest NVIDIA driver is installed and running.

Ошибка вполне ожидаема, так как мы не указывали LXD пробрасывать какой-либо GPU.

LXD GPU passthrough.

LXD позволяет указывать конкретные GPU по различным критериям.

Ключ	Тип	По умолч.	Требуется	Описание
vendorid	string	-	нет	id производителя GPU устройства.
productid	string	-	нет	id продукта GPU устройства.
id	string	-	нет	id карты GPU устройства
pci	string	-	нет	адрес pci GPU устройства
uid	int	0	нет	UID владельца устройства в контейнере
gid	int	0	нет	GID владельца устройства в контейнере
mode	int	0660	нет	права доступа к устройству внутри контейнера

Вначале просто разрешим доступ ко всем GPU
lxc config device add cuda gpu gpu

Device gpu added to cuda

lxc exec cuda -- nvidia-smi

+-----------------------------------------------------------------------------+
| NVIDIA-SMI 375.39                 Driver Version: 375.39                    |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  GeForce GT 730      Off  | 0000:02:06.0     N/A |                  N/A |
| 30%   30C    P0    N/A /  N/A |      0MiB /  2001MiB |     N/A      Default |
+-------------------------------+----------------------+----------------------+
|   1  GeForce GT 730      Off  | 0000:02:08.0     N/A |                  N/A |
| 30%   27C    P0    N/A /  N/A |      0MiB /  2001MiB |     N/A      Default |
+-------------------------------+----------------------+----------------------+
+-----------------------------------------------------------------------------+
| Processes:                                                       GPU Memory |
|  GPU       PID  Type  Process name                               Usage      |
|=============================================================================|
|    0                  Not Supported                                         |
|    1                  Not Supported                                         |
+-----------------------------------------------------------------------------+

lxc config device remove cuda gpu

Device gpu removed from cuda

Попробуем дать доступ к первому GPU в системе
lxc config device add cuda gpu gpu id=0

Device gpu added to cuda

lxc exec cuda -- nvidia-smi

+-----------------------------------------------------------------------------+
| NVIDIA-SMI 375.39                 Driver Version: 375.39                    |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  GeForce GT 730      Off  | 0000:02:06.0     N/A |                  N/A |
| 30%   30C    P0    N/A /  N/A |      0MiB /  2001MiB |     N/A      Default |
+-------------------------------+----------------------+----------------------+
+-----------------------------------------------------------------------------+
| Processes:                                                       GPU Memory |
|  GPU       PID  Type  Process name                               Usage      |
|=============================================================================|
|    0                  Not Supported                                         |
+-----------------------------------------------------------------------------+

lxc config device remove cuda gpu

Device gpu removed from cuda

Можно легко указать нужную карту по её идентификаторам (id) производителя (vendor) и устройства.
lspci -nnn | grep NVIDIA

02:06.0 VGA compatible controller [0300]: NVIDIA Corporation GK208 [GeForce GT 730] [10de:1287] (rev a1)
02:07.0 Audio device [0403]: NVIDIA Corporation GK208 HDMI/DP Audio Controller [10de:0e0f] (rev a1)
02:08.0 VGA compatible controller [0300]: NVIDIA Corporation GK208 [GeForce GT 730] [10de:1287] (rev a1)
02:09.0 Audio device [0403]: NVIDIA Corporation GK208 HDMI/DP Audio Controller [10de:0e0f] (rev a1)

lxc config device add cuda gpu gpu vendorid=10de productid=1287

Device gpu added to cuda

lxc exec cuda -- nvidia-smi

+-----------------------------------------------------------------------------+
| NVIDIA-SMI 375.39                 Driver Version: 375.39                    |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  GeForce GT 730      Off  | 0000:02:06.0     N/A |                  N/A |
| 30%   30C    P0    N/A /  N/A |      0MiB /  2001MiB |     N/A      Default |
+-------------------------------+----------------------+----------------------+
|   1  GeForce GT 730      Off  | 0000:02:08.0     N/A |                  N/A |
| 30%   27C    P0    N/A /  N/A |      0MiB /  2001MiB |     N/A      Default |
+-------------------------------+----------------------+----------------------+
+-----------------------------------------------------------------------------+
| Processes:                                                       GPU Memory |
|  GPU       PID  Type  Process name                               Usage      |
|=============================================================================|
|    0                  Not Supported                                         |
|    1                  Not Supported                                         |
+-----------------------------------------------------------------------------+

lxc config device remove cuda gpu

Device gpu removed from cuda

Заметьте, что от предыдущей команды добавилось два GPU, так как они одинаковой модели и производителя. В нашем случае, для отбора карты лучше использовать PCI ID.

lxc config device add cuda gpu gpu pci=0000:02:08.0

Device gpu added to cuda

lxc exec cuda -- nvidia-smi

+-----------------------------------------------------------------------------+
| NVIDIA-SMI 375.39                 Driver Version: 375.39                    |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  GeForce GT 730      Off  | 0000:02:08.0     N/A |                  N/A |
| 30%   27C    P0    N/A /  N/A |      0MiB /  2001MiB |     N/A      Default |
+-------------------------------+----------------------+----------------------+
+-----------------------------------------------------------------------------+
| Processes:                                                       GPU Memory |
|  GPU       PID  Type  Process name                               Usage      |
|=============================================================================|
|    0                  Not Supported                                         |
+-----------------------------------------------------------------------------+

lxc config device remove cuda gpu

Device gpu removed from cuda

На прощание сверим результаты что мы получим внутри контейнера и что получали при измерении непосредственно в хост-системе.
lxc config device add cuda gpu gpu

Device gpu added to cuda

lxc exec cuda -- /usr/local/cuda-8.0/extras/demo_suite/bandwidthTest

[CUDA Bandwidth Test] - Starting...
Running on...

 Device 0: GeForce GT 730
 Quick Mode

 Host to Device Bandwidth, 1 Device(s)
 PINNED Memory Transfers
   Transfer Size (Bytes)	Bandwidth(MB/s)
   33554432			3065.4

 Device to Host Bandwidth, 1 Device(s)
 PINNED Memory Transfers
   Transfer Size (Bytes)	Bandwidth(MB/s)
   33554432			3305.8

 Device to Device Bandwidth, 1 Device(s)
 PINNED Memory Transfers
   Transfer Size (Bytes)	Bandwidth(MB/s)
   33554432			30825.7

Result = PASS

NOTE: The CUDA Samples are not meant for performance measurements. Results may vary when GPU Boost is enabled.

Выводы

LXD может легко предоставить один или несколько GPU внутри контейнера. Можно выдавать конкретные GPU конкретным контейнерам или просто отдать их все. Нет никаких накладных расходов как в случае с PCI based passthrough. Работа контейнера с GPU похожа на обычные процессы хоста.

Тем не менее требуется, чтобы внутри контейнеров версия инструментария CUDA поддерживала версию драйверов NVidia, установленных в хосте.

Цикл из 12 статей Стефана про LXD.

Из свежего про LXD и LXC, который работает под капотом.

Дата последней правки: 2023-12-27 11:46:08