LLMs з GPU TEE на OpenRouter — захищені, конфіденційні та перевірені!

Вступ

LLM — великі мовні моделі дедалі частіше розгортаються в хмарних і багатокористувацьких середовищах конфіденційність даних і конфіденційність моделі є першочерговими. Традиційних засобів захисту, як-от шифрування даних у стані спокою чи передачі, недостатньо, коли дані обробляються (тобто «використовуються») (Конфіденційне обчислення на графічних процесорах NVIDIA H100 для безпечного та надійного ШІ | Технічний блог NVIDIA). Як дані користувача (які можуть містити конфіденційні особисті або корпоративні дані), так і сама модель (часто цінна інтелектуальна власність) повинні бути захищені під час висновку.

TEE — довірені середовища виконання вирішити цю проблему шляхом створення ізольованих, захищених апаратним забезпеченням анклавів для обчислень, запобігаючи навіть привілейованим системним операторам доступ до коду або даних усередині (Конфіденційне обчислення на графічному процесорі nVIDIA H100: порівняльне дослідження продуктивності). Хоча TEE на основі ЦП (наприклад, Intel SGX) існують уже деякий час, їх обмежена пам’ять і продуктивність створюють проблеми для великомасштабних робочих ML навантажень.

TEE GPU сьогодні — завдяки технології конфіденційних обчислень NVIDIA в сучасних графічних процесорах центрів обробки даних — дозволяє нам запускати висновок LLM у безпечних анклавах з мінімальними витратами на продуктивність. У цьому звіті досліджується технічна архітектура GPU TEE для LLM, як NVIDIA H100 Confidential Computing працює для безпечного висновку ML, а також занурюється в реальні реалізації (випадок Phala Network «Absolute Zero» з DeepSeek R1, NearAI Private ML SDK і RedPill Confidential AI Inference framework). Ми також надаємо приклади коду для розгортання LLM у середовищах GPU TEE і обговорюємо переваги, обмеження та моделі загроз, які розглядаються за допомогою цього підходу.

Архітектура GPU TEE для LLM Inference

GPU Trusted Execution Environments поширити концепцію анклаву на графічні процесори, поєднавши захищене середовище ЦП із захищеним контекстом графічного процесора. У типовому налаштуванні конфіденційна віртуальна машина або анклав працює на ЦП (за допомогою таких технологій, як Intel TDX або AMD SEV-SNP), а підключений графічний процесор NVIDIA (наприклад, H100) працює в режимі «Конфіденційні обчислення». Ця гібридна конструкція дозволяє LLM використовувати прискорення графічного процесора в межах захищеної оболонки, яка охоплює як центральний, так і графічний процесор.

Chain of Trust: Коли графічний процесор завантажується в режимі конфіденційних обчислень (часто називається «CC On»), він встановлює апаратний корінь довіри на самому графічному процесорі. Графічний процесор проходить безпечну, вимірювану послідовність завантаження, щоб перевірити його мікропрограму та мікрокод. Далі між графічним процесором і TEE центрального процесора встановлюється безпечний канал зв’язку за допомогою протоколу безпеки та моделі даних (SPDM). Це забезпечує взаємну автентифікацію драйвера GPU (працює в анклаві CPU) і апаратного забезпечення GPU. Потім графічний процесор генерує звіт про атестацію — криптографічно підписаний набір вимірювань (наприклад, версія мікропрограми, стан безпечного завантаження та завантажений хеш програми GPU). Подібним чином CPU TEE (конфіденційна віртуальна машина) створює власну атестацію (охоплює завантажувач, ОС і завантажений код програми або образ контейнера). Разом ці артефакти атестації дозволяють віддаленому клієнту перевірити, що точне очікуване програмне забезпечення (ОС, модель LLM тощо) працює на справжньому апаратному забезпеченні TEE (процесор Intel і графічний процесор NVIDIA), і не було втручання. Лише якщо атестація дійсна (відповідає завідомо справним вимірюванням), клієнт продовжить довіряти анклаву.

Ізольоване виконання та шифрування пам’яті: У режимі GPU TEE NVIDIA H100 гарантує, що всі дані, якими обмінюється з СPU, шифруються під час передачі, а пам’ять CPU ізольована від інших контекстів (Конфіденційне обчислення на графічному процесорі nVIDIA H100: порівняльне дослідження продуктивності). На практиці це досягається за допомогою зашифрованих «буферів відскоку» для передачі даних PCIe — дані, що залишають зашифровану пам’ять процесора, шифруються по шині та розшифровуються лише в безпечній пам’яті графічного процесора. Вбудована пам’ять графічного процесора захищена, тому навіть ворожий хост не може вивести її вміст. Тим часом CPU TEE гарантує, що будь-які дані в системній оперативній пам’яті (вага моделі, проміжні буфери) залишаються зашифрованими для зовнішнього світу. Таким чином, наскрізна конфіденційність зберігається: дані та ваги моделі залишаються захищеними як у пам’яті процесора, так і в пам’яті графічного процесора, а також під час передачі між ними. Важливо, що все це робиться апаратно, прозоро для програми — з точки зору коду ML (наприклад, PyTorch), це просто виконує звичайний висновок GPU, але під капотом GPU та CPU забезпечують шифрування та ізоляцію.

Мінімальні витрати на продуктивність: Проблемою будь-якого TEE є вартість ізоляції та шифрування. На щастя, GPU TEE дуже незначно сповільнюють висновок LLM. Дослідження показали, що під час запуску великих моделей на H100 у режимі TEE, обчислювальний накладні витрати всередині графічного процесора незначні — основна вартість полягає в невеликому збільшенні затримки вводу-виводу процесора-графічного процесора через шифрування передачі даних. Для більшості типових розмірів підказок LLM наскрізна пропускна здатність становить менше 7%. Це означає, що ми можемо отримати майже рідну продуктивність (часто >99% нормальної швидкості) навіть із використанням повної конфіденційності. Навпаки, попередні TEE, що працюють лише з процесором, часто мали проблеми з продуктивністю (наприклад, Intel SGX мав серйозні проблеми підкачки пам’яті у великих моделях). Завдяки використанню апаратних прискорювачів графічного процесора лише з незначними накладними витратами на зашифрований ввід/вивід, TEE GPU дозволяють практичний безпечний висновок на великих моделях, які було б непрактично запускати в одному анклаві ЦП.

Технологія конфіденційних обчислень NVIDIA H100

Архітектура NVIDIA Hopper (H100) є першим графічним процесором, який підтримує можливості конфіденційного обчислення, що робить можливим GPU TEE. Коли GPU H100 працює в конфіденційному режимі, він забезпечує апаратно-примусовий TEE, який зберігає як конфіденційність і цілісність для коду та даних на GPU (Безпека ШІ з конфіденційними обчисленнями | NVIDIA). Захист даних під час використання: У цьому режимі будь-які дані або параметри моделі, які переміщуються в GPU для обробки, залишаються прихованими від решти системи — навіть гіпервізор або хост-ОС не можуть стежити за пам’яттю або регістрами GPU. H100 досягає цього завдяки комбінації функцій: шифрування пам’яті, безпечне завантаження та атестація. Усе мікропрограмне забезпечення графічного процесора автентифікується (підписано NVIDIA) під час завантаження, тому шкідливе програмне забезпечення не може запускатися. Драйвер і інтерфейс керування H100 працюватимуть у TEE на стороні центрального процесора, як частина захищеного ланцюга довіри (наприклад, гостьова система Linux працює під управлінням Intel TDX). Через захищений канал SPDM графічний процесор отримує підтвердження, що він спілкується з довіреним, сертифікованим анклавом ЦП.

У цей момент GPU on-die root-of-trust генерує атестаційну ціну, яку можуть перевірити віддалені сторони за допомогою служби атестації NVIDIA. Цей звіт про атестацію містить вимірювання стану графічного процесора (наприклад, криптографічні хеші завантаженого коду моделі або двійкових файлів ядра CUDA та версію мікропрограми графічного процесора). Клієнт може надіслати цю пропозицію до публічної служби атестації NVIDIA, щоб підтвердити її справжність і актуальність (переконавшись, наприклад, що GPU не використовує відкликану мікропрограму) (Почати | RedPill).

Важливо, Для конфіденційних обчислень NVIDIA потрібен додатковий CPU TEE. На практиці ввімкнення конфіденційного режиму H100 здійснюється у віртуальній машині, яка сама працює в TEE (наприклад, AMD SEV-SNP або Intel TDX VM). Це відображено в хмарних пропозиціях (наприклад, конфіденційні віртуальні машини графічних процесорів Azure поєднують процесори AMD Milan із графічним процесором SEV-SNP і H100). CPU TEE забезпечує захищене середовище виконання для ОС і драйвера NVIDIA, тоді як GPU TEE захищає важкі обчислення ML.

Загальна безпека настільки сильна, як обидва цих компонентів — графічний процесор може забезпечити безпеку власних процесів і засвідчити свій стан, але він повинен покладатися на анклав центрального процесора, щоб захистити шлях зв’язку та підтвердити решту програмного стеку.

При правильній конфігурації цей двошаровий TEE (CPU + GPU) означає, що весь конвеєр висновку LLM — від отримання зашифрованого запиту до запуску моделі та отримання результату — може бути обмежений межею довіри, що забезпечується апаратним забезпеченням. Мета розробки NVIDIA полягала в тому, щоб зробити це максимально бездоганним: насправді, без змін коду потрібні для виконання робочих навантажень ШІ в GPU TEE.

Існуюча програма PyTorch або CUDA може працювати на конфіденційному H100 так само, як зазвичай; єдина різниця полягає в тому, як запускається віртуальна машина та як обробляється атестація. Це спрощує адаптацію — моделі можна перемістити в захищені анклави «декількома натисканнями клавіш», увімкнувши конфіденційний режим віртуальної машини та графічного процесора.

З точки зору продуктивності NVIDIA повідомляє, що прискорені обчислювальні завдання виконуються практично з тією ж швидкістю в конфіденційному режимі після налаштування середовища. Початкові дослідження підтверджують, що Обчислення GPU не впливають, і загальне зниження пропускної здатності здебільшого пов’язане з зашифрованим вводом-виводом, як обговорювалося раніше.

Підсумовуючи, H100 (і його наступники, такі як майбутні графічні процесори Blackwell/H200) забезпечують основу для безпечний висновок ML завдяки поєднанню високопродуктивного прискорення графічного процесора з безпекою TEE. Ця основа зараз використовується різними фреймворками та платформами для розгортання служб LLM, що зберігають конфіденційність.

Практичний приклад: Phala Network LLM Inference з DeepSeek R1 у GPU TEE

Phala Network, децентралізована платформа хмарних обчислень, була піонером у використанні GPU TEE для захисту моделей ШІ. У відповідь на занепокоєння щодо конфіденційності моделей штучного інтелекту, розроблених за кордоном (зокрема, китайського LLM під назвою DeepSeek R1), Фала просував підхід під назвою «Не довіряй, перевіряй». “Absolute Zero” — означає нульову довіру до походження моделі, а замість цього завершити перевірку, запустивши її в надійному середовищі (Absolute 0 CCP: використовуйте DeepSeek R1 із GPU TEE для перевіреної безпеки AI). Ідея полягає в тому, що навіть якщо ви не довіряй постачальник моделі, ви можете запустити їхню модель у TEE, що гарантує, що модель не зможе «зателефонувати додому» або витік ваших даних, і ви можете перевірити самостійно що середовище виконання моделі є безпечним. Щоб досягти цього, Phala об’єднала свою мережеву платформу TEE із конфіденційними обчисленнями GPU.

Технічний стек Phala TEE: Основними компонентами є OpenRouter і RedPill і Приватний ML SDK (докладніше про це пізніше), які разом дозволяють моделям AI, таким як DeepSeek R1, працювати всередині GPU TEE. За допомогою цього стеку Phala або будь-який розробник може розгорнути LLM так, щоб висновок відбувався повністю в ізольованому анклаві, а віддалені користувачі могли отримати криптографічний доказ цілісності анклаву. У лютому 2025 року Phala продемонструвала це, організувавши Модель DeepSeek R1 (70-мільярдний LLM параметрів) у GPU TEE і дозволяючи користувачам запитувати його з повною конфіденційністю даних. Absolute Zero практичне дослідження підкреслило наступний робочий процес для безпечного розгортання LLM:

1. Безпечна модель хостингу: За допомогою Private-ML-SDK модель DeepSeek R1 завантажується всередину сервера з підтримкою TEE. Це включає в себе налаштування апаратного забезпечення (графічні процесори NVIDIA H100 у режимі TEE з ЦП із підтримкою TDX), компіляцію або контейнеризацію сервера моделі з SDK і його запуск таким чином, щоб він підтверджував свій стан. Система Phala забезпечує ваги моделей самі розшифровуються лише всередині анклаву, захищаючи IP-адресу власника моделі.
2. Дистанційна атестація: Після запуску служба створює докази атестації (як від анклаву процесора, так і від графічного процесора), які можуть перевіряти клієнти. Це дозволяє будь-кому перевірити, що екземпляр DeepSeek R1 дійсно працює всередині справжнього TEE і що ніхто не втручався в нього. У дизайні Phala навіть Оператори мережі Phala не мають доступу до внутрішніх елементів моделі — вони бачать лише зашифровані дані — тому користувачам не потрібно довіряти Phala, вони можуть довіряти апаратним гарантіям.
3. Висновок із конфіденційністю: Потім користувачі можуть надсилати підказки моделі через безпечний канал. Дані шифруються на стороні клієнта, залишаються зашифрованими на всьому шляху до анклаву та лише розшифровуються всередині трійник для обробки. Модель генерує відповідь, яка шифрується та надсилається назад користувачеві. Таким чином, жодний сторонній спостерігач не може прочитати введений або вихідний текст. Це усуває занепокоєння, подібні до тих, що висловлюються в ЗМІ щодо неправильної обробки приватних даних службами ШІ, навіть якщо модель розміщено в хмарі, хмарний постачальник не може побачити ваш запит або відповідь моделі.
4. Перевірка результатів: Оскільки все виконання відбувається в TEE, результати можуть супроводжуватися доказом (підписом або засвідченням), що вони справді походять від справжньої моделі DeepSeek, яка працює в анклаві. Підхід Phala дозволяє користувачеві переконатися, що відповідь не була згенерована фальшивою або зміненою моделлю. Тут це особливо важливо, тому що хтось може хвилюватися, що зловмисний хост може замінити модель або впровадити програму шпигунства. За допомогою атестації користувач може це зрозуміти — криптографічні вимірювання відрізнятимуться, якщо, скажімо, двійковий файл моделі буде змінено.

По суті, демонстрація Phala Absolute Zero з DeepSeek R1 це довела GPU TEE дозволяють надійно розгортати великі моделі. Це перетворило суперечливу хмарну модель DeepSeek на a безпечний сервіс, який можна перевірити: користувачі могли запитувати модель, не побоюючись витоку даних, і їм навіть не потрібно було довіряти заявам про конфіденційність постачальника моделі — вони могли перевірити середовище самостійно. Це демонструє потужність GPU TEE для ML із збереженням конфіденційності: навіть ненадійні моделі чи ненадійну інфраструктуру можна безпечно використовувати, якщо вони працюють у належним чином сертифікованому анклаві.

Private ML SDK — інструментарій для конфіденційного розгортання LLM

Щоб зробити розгортання LLM у GPU TEE більш доступним, NearAI і Phala спільно розробили набір інструментів з відкритим кодом під назвою Приватний ML SDK. Цей SDK надає всі будівельні блоки для запуску великих моделей у захищеному анклаві, який охоплює CPU і GPU. На високому рівні Private ML SDK налаштовує a конфіденційне середовище AI Inference (як було показано раніше), що включає: CPU TEE VM, захищені інтерфейси gRPC/HTTP, потоки атестації та інтеграцію з фреймворками, такими як PyTorch, для запуску моделі на GPU.

Відповідно до його документації, «Private ML SDK забезпечує безпечне та перевірене рішення для запуску LLM у TEE, використовуючи технологію TEE GPU NVIDIA (H100/H200/B100) і підтримку Intel TDX». На практиці це означає, що розробник може використовувати SDK для упаковки своєї моделі та коду обслуговування (наприклад, програми Flask або агента LangChain) у конфіденційний образ віртуальної машини.

SDK обробляє деталі низького рівня, наприклад увімкнення режиму TEE графічного процесора та встановлення атестації. Деякі ключові функції Private ML SDK включають (GitHub — nearai/private-ml-sdk: запускайте LLM та агентів на TEE, використовуючи технології NVIDIA GPU TEE та Intel TDX.):

• Захищене виконання: Середовище виконання гарантує, що як модель, так і дані обробляються повністю в межах анклаву, запобігаючи будь-якому зовнішньому втручанню чи спостереженню. Навіть зловмисне програмне забезпечення на рівні ядра на хості не може втручатися у виконання моделі або видобувати секрети.
• Безпечний зв’язок: Весь зв’язок між клієнтом і моделлю (а також між центральним і графічним процесором всередині) зашифрований наскрізно. Це запобігає атакам типу “людина посередині” або прослуховуванню даних під час передавання.
• Віддалена атестація та можливість перевірки: SDK надає механізми для створення та отримання атестаційних котирувань від Intel і NVIDIA, щоб клієнт (або аудитор) міг перевірити ідентичність анклаву та цілісність стека програмного забезпечення. Він також підтримує підписання результатів висновків (як ми побачимо з RedPill), щоб підтвердити, що вони надійшли з надійного середовища.
• Відтворювані збірки: Щоб доповнити атестацію, SDK заохочує відтворювані зображення контейнерів або віртуальних машин. Зареєструвавши хеш очікуваного зображення (наприклад, у блокчейні або службі реєстру), можна порівняти його із завіреним вимірюванням під час виконання, щоб переконатися, що виконується саме той передбачуваний код моделі. Це забезпечує цілісність коду — що не було вставлено шкідливий код.
• Оптимізація продуктивності: SDK оптимізовано для повного використання прискорення GPU, досягаючи майже рідної швидкості для висновків. Він включає підтримку моделей, що працюють у популярних фреймворках (наприклад, використання Nvidia cuBLAS, TensorRT тощо всередині анклаву), щоб розробники не жертвували продуктивністю заради безпеки.

Під капотом Private ML SDK організовує запуск a Віртуальна машина з підтримкою TDX (або AMD SEV VM), який завантажує зображення, що містить сервер моделі ML. Цей образ зазвичай містить драйвер NVIDIA та бібліотеки CUDA, структуру ML (PyTorch тощо) і файли моделі. Віртуальна машина завантажується на хості, до якого підключено графічний процесор H100, і SDK запускає ініціалізацію режиму CC графічного процесора (часто через спеціальний драйвер або виклик гіпервізора). Після того, як CPU анклав засвідчує до служби атестації (наприклад, DCAP Intel для TDX) і GPU генерує свою атестацію який можна отримати через службу атестації NVIDIA (Почати | RedPill). SDK надає API або сценарії для збору цих котирувань і групування їх (як JSON) для надання кінцевим користувачам або контракту перевірки в мережі.

Для розробників використання SDK може передбачати написання файлу конфігурації (щоб указати модель для завантаження, апаратні ресурси тощо), а потім запуск сценарію збірки. Наприклад, можна підготувати образ Docker зі своїм додатком, а потім за допомогою команди перетворити його на конфіденційний образ віртуальної машини (з необхідним безпечним завантаженням і ключами атестації). The NearAI/private-ml-sdk репозиторій містить приклади того, як визначити app.yaml та env-file для конфіденційного розгортання, яке включає визначення служб і будь-які секрети, які слід вводити в анклав під час виконання. Кінцевим результатом є те, що замість розгортання служби LLM на звичайній віртуальній машині чи контейнері ви розгортаєте її на Конфіденційно В.М за допомогою Private ML SDK. З цього моменту клієнти можуть взаємодіяти з ним, як і з будь-яким іншим API, але з додатковою можливістю запитувати докази атестації та мати гарантії конфіденційності.

Підсумовуючи, NearAI’s Private ML SDK — це потужний інструмент, який усуває більшу частину складності налаштування GPU TEE. Це забезпечує робочий процес, у якому постачальники моделей можуть легко розміщувати свої моделі таким чином, щоб клієнти можуть довіряти без розкриття ваги моделі чи введених користувачем даних. Цей набір інструментів лежить в основі багатьох реальних реалізацій конфіденційного висновку штучного інтелекту, включаючи приклад використання мережі Phala вище та службу RedPill, описану далі.

Get Phala Україна’s stories in your inbox

Join Medium for free to get updates from this writer.

Remember me for faster sign in

Конфіденційна служба штучного інтелекту: OpenRouter

OpenRouter — це проект із відкритим вихідним кодом, який діє як універсальний API-шлюз для доступу та інтеграції великих мовних моделей (LLM) від багатьох постачальників. Завдяки об’єднанню API різних моделей в єдиному інтерфейсі, сумісному з OpenAI, OpenRouter спрощує розробку та експерименти для розробників, які працюють у сфері ШІ. Розробники можуть направляти запити до таких популярних моделей, як GPT від OpenAI, Claude від Anthropic, Llama від Meta, Mistral та інших, часто включно з моделями з відкритим вихідним кодом, без необхідності окремо керувати ключами, обмеженнями швидкості чи різними API. Він також підтримує спеціальну логіку маршрутизації, балансування навантаження та резервні стратегії, що робить його потужним інструментом для дослідників, стартапів і підприємств, які прагнуть ефективно використовувати кілька магістерських програм у виробництві чи прототипуванні.

https://openrouter.ai/deepseek/deepseek-r1-distill-llama-70b | https://openrouter.ai/meta-llama/llama-3.3-70b-instruct

Атестація та встановлення ключа: Коли екземпляр сервера LLM запускається (для певної моделі), він виконує ряд кроків для встановлення довіри:

• Генерація ключа анклаву: Сервіс генерує свіжий пара ключів підпису всередині TEE після запуску. Приватна частина цього ключа ніколи не залишає анклав. Він буде використовуватися для підпису результатів висновків. Публічна частина буде доступна клієнтам для перевірки.
• Атестація TEE: Послуга отримує як ан Цитата Intel TDX (для CPU VM) і an Атестація NVIDIA (для GPU) і пакує їх у звіт про атестацію JSON. Важливо, що цей звіт містить нещодавно згенерований відкритий ключ анклаву (часто представлений у вигляді адреси, схожої на Ethereum), прив’язаний до вимірювань TEE (Почати | RedPill). Іншими словами, атестація доводить «Цей конкретний захищений екземпляр апаратного забезпечення згенерував цей відкритий ключ».
• Перевірка клієнта: Клієнт може в будь-який час запросити звіт про атестацію через API OpenRouter (є кінцева точка /attestation/report?model=<model_name>) . Використовуючи це, клієнт спочатку перевіряє цінову пропозицію Intel і NVIDIA, наприклад, надсилаючи цінову пропозицію NVIDIA до служби атестації NVIDIA для її перевірки. Це підтверджує автентичність апаратного забезпечення (те, що це H100 у режимі CC і надійний CPU). Потім клієнт перевіряє відкритий ключ у звіті та вірить, що будь-яке повідомлення, підписане відповідним закритим ключем, справді надійшло з цього анклаву.

Після налаштування довіри користувач може виконувати запити на висновок. API RedPill схожий на API OpenAI, що робить його знайомим для розробників. Наприклад, щоб створити завершення чату, клієнт надсилає HTTP POST до служби з корисним навантаженням JSON, що містить розмову та вказує модель. Нижче наведено спрощений приклад використання API RedPill для запиту DeepSeek R1 (70B) модель:

curl https://openrouter.ai/api/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $OPENROUTER_API_KEY" \
  -d '{
  "model": "deepseek/deepseek-r1-distill-llama-70b",
  "messages": [
    {
      "role": "user",
      "content": "What is the meaning of life?"
    }
  ]
  
}'

(Приклад запиту на завершення чату до API конфіденційного висновку OpenRouter, націленого на модель DeepSeek-R1 70B. Ключ API та назва моделі вказуються в запиті. Підказка зведена до мінімуму для стислості.)

Openrouter / Redpill обробить цей запит, перенаправивши його моделі DeepSeek, що працює всередині анклаву. Модель генерує завершення (у цьому випадку, ймовірно, ідентифікуючи себе або відповідаючи). Відповідь надсилається назад клієнту як JSON, як API OpenAI. Однак RedPill містить важливу додаткову функцію: він обчислює a криптографічний підпис над відповіддю. Зокрема, після отримання відповіді ключ підпису анклаву використовується для підпису комбінації хешів запиту та відповіді. Підпис (і оригінальний ідентифікатор відкритого ключа) потім може бути використаний клієнтом для перевірки того, що цей вихід дійсно надійшов з анклаву.

Щоб отримати підпис (наприклад, Redpill), клієнт може викликати іншу кінцеву точку, наприклад:

# Using the request ID returned in the completion response:
curl -X GET "https://api.red-pill.ai/v1/signature/<REQUEST_ID>?model=phala/deepseek-r1-70b&signing_algo=ecdsa" \
  -H "Authorization: Bearer <REDPILL_API_KEY>"

Це повертає JSON, що містить text(що є конкатенацією хешу запиту та хешу відповіді) та signature. Клієнт може перевірити цей підпис за допомогою відкритого ключа, отриманого на етапі атестації. Насправді RedPill зручно надає відкритий ключ у формі адреси Ethereum (signing_address), що означає, що можна навіть використовувати стандартні інструменти (наприклад ethers.js або засіб перевірки підпису Ethereum), щоб перевірити дійсність підпису. Документи RedPill пропонують використовувати інструмент перевірки підпису Etherscan як швидкий спосіб вставити адресу та повідомлення для перевірки підпису. Про це свідчить дійсний підпис відповідь надійшла з довіреного анклаву а не від будь-якого проміжного сервера чи зловмисника. Якщо зловмисник спробує підробити відповідь або змінити її, він не матиме закритого ключа анклаву, і тому перевірка підпису не вдасться.

За допомогою цього механізму RedPill забезпечує висновок ШІ, який можна перевірити. Користувачі не лише отримують перевагу конфіденційності (ніхто не може бачити їх підказку чи відповідь моделі, окрім анклаву), але й гарантію цілісності (відповідь не була підроблена, і вона справді надійшла від передбачуваної моделі, що працює в TEE). Це особливо важливо для чутливих додатків або для використання моделей сторонніх розробників. Наприклад, компанія може дозволити використовувати модель третьої сторони для своїх конфіденційних даних, лише якщо вона зможе отримати такий доказ того, що служба моделі працює в захищеному анклаві. RedPill по суті реалізує поєднання конфіденційних обчислень NVIDIA H100 і Intel TDX у споживаний веб-сервіс.

Переваги та обмеження GPU TEE порівняно з традиційними CPU TEE

GPU TEE пропонують декілька ключові переваги через TEE лише для ЦП для розгортання LLM:

• Масштабованість і продуктивність: GPU TEE можуть виконувати величезні вимоги до обчислень і пам’яті великих нейронних мереж. CPU TEE (наприклад, анклави Intel SGX) часто обмежувалися декількома сотнями МБ захищеної пам’яті (SGX EPC) і спричиняли значні накладні витрати під час запуску великих моделей, якщо це взагалі було можливо (наприклад, модель параметрів 70B має розмір сотні ГБ, що набагато перевищує обмеження SGX). На відміну від цього, з GPU TEE моделі можуть використовувати десятки ГБ пам’яті GPU, а накладні витрати мінімальні (часто <5%, як зазначено). Це долає розрив між безпекою та продуктивністю, забезпечуючи високопродуктивний висновок із малою затримкою, що було неможливо в анклавах CPU.
• Наскрізний захист для робочих навантажень ML: CPU TEE сам по собі не може захистити дані після того, як вони передані графічному процесору для прискорення (оскільки історично графічний процесор був за межами довіри). Включивши GPU в TEE, ми отримуємо повне покриття стека — дані залишаються захищеними навіть під час множення матриць і тензорних операцій GPU. Це критично важливо для машинного навчання, ефективність якого покладається на графічні процесори. По суті, GPU TEE розширюють конфіденційні обчислення на весь конвеєр ML, а не зупиняються на CPU.
• Знайома модель програмування: Розробникам не потрібно переписувати свої моделі для якогось спеціалізованого анклавного SDK (як це часто траплялося з ранніми TEE). Рішення NVIDIA дозволяє запускати стандартні фреймворки (PyTorch, TensorFlow тощо) без змін коду — захист застосовується на рівні апаратного забезпечення/драйвера. Це значно знижує перешкоди для усиновлення. Ви можете взяти наявний LLM, розгорнути його в конфіденційній віртуальній машині за допомогою H100 і негайно отримати переваги безпеки, замість того, щоб переробляти програму для анклаву.
• Сильніша Attacker модель: Поєднання CPU і GPU TEE означає, що зловмиснику потрібно буде зламати два апаратних анклави одночасно — набагато сильніший захист, ніж один анклав. Анклав CPU захищає оркестровку та попередню обробку даних, тоді як анклав GPU захищає основні обчислення ML. Навіть якщо теоретично один з них зламано, інший все одно забезпечує певний рівень захисту (хоча на практиці вони обидва необхідні для повної безпеки). Крім того, сучасні TEE, такі як TDX/SEV і H100, надають функції (наприклад, перевірку цілісності, захист від відкату та офіційні звіти про атестацію), яких бракувало старішим TEE, таким як SGX, або які були в слабших формах. Це підвищує довіру до системи в цілому.

Незважаючи на переваги, вони є обмеження/компроміси зауважити:

• Наявність обладнання: Для GPU TEE наразі потрібне найновіше обладнання (графічні процесори NVIDIA Hopper або новіші). Вони дорогі та ще не повсюдні. На відміну від цього, простіші CPU TEE вже деякий час існують на звичайних ЦП. Організації, які не мають доступу до графічних процесорів H100/H800 або майбутніх графічних процесорів H200, не можуть використовувати GPU TEE, доки не оновлять або не використають хмару, яка їх пропонує.
• Комплексна установка: Встановлення GPU TEE передбачає координацію двох наборів атестації (CPU та GPU) і забезпечення підтримки конфіденційних обчислень гіпервізором, ОС і драйверами. Такі фреймворки, як Private ML SDK, і такі платформи, як RedPill, допомагають автоматизувати це, але це все одно нетривіальне розгортання порівняно зі стандартним хостингом GPU. Операційна складність (керування ключами, перевірка атестації тощо) є вищою, хоча такі проекти, як Phala, значною мірою абстрагують цю складність для кінцевих користувачів.
• Залежність від постачальників: Покладатися на корінь довіри на Intel і NVIDIA означає, що потрібно повністю довіряти заходам безпеки цих постачальників. У справді чутливих випадках деякі можуть вважати ризиком те, що бекдор або вразливість в апаратному забезпеченні можуть підірвати TEE (наприклад, експлойт у мікропрограмі GPU). Тим не менш, це загальне занепокоєння для TEE, а не для GPU TEE, і як Intel, так і NVIDIA пройшли аудит для їх впровадження.
• Сумісність і паритет функцій: Не всі функції, доступні в звичайному середовищі, ще підтримуються в конфіденційній віртуальній машині з GPU. Наприклад, певні низькорівневі інструменти профілювання або налагодження можуть бути недоступні, а спільне використання кількох GPU між віртуальними машинами може бути обмежено. Крім того, нинішнє покоління зосереджено на сценаріях використання висновків; Навчання GPU TEE (з кількома GPU, високим міжвузловим зв’язком) є областю, яка все ще досліджується та може мати додаткові витрати.
• Зберігаються обмеження CPU TEE: GPU TEE не скасовує потребу в CPU TEE, що означає, що система успадковує деякі обмеження. Наприклад, безпечне завантаження віртуальної машини, розмір віртуальної машини TEE та можливі накладні витрати на продуктивність CPU(криптографічні операції тощо) все ще є факторами. Ми зменшуємо центральний процесор, який є вузьким місцем, перевантажуючи його на графічний процесор, але якщо код сторони центрального процесора (наприклад, підготовка даних або постобробка результатів) важкий, це може спричинити накладні витрати на TEE. На щастя, висновок LLM зазвичай пов’язаний із GPU.

Загалом, GPU TEE є значним кроком вперед у забезпеченні конфіденційних обчислень для штучного інтелекту, значною мірою переважуючи недоліки багатьох варіантів використання. У міру того, як технологія розвивається та стає більш доступною, ми можемо очікувати, що ці обмеження зменшаться.

Моделі загроз, які розглядаються GPU TEE в LLM Inference

Використання GPU Trusted Execution Environments для LLM напряму вирішує кілька важливих загроз і вимог безпеки:

• Інсайдерські загрози та доступ адміністратора хмари: У звичайному хмарному розгортанні шахрайський адміністратор або скомпрометований гіпервізор може переглядати дані клієнтів або ваги моделі в пам’яті. З GPU TEE, конфіденційність як даних користувача, так і моделі захищений навіть від хмарних адміністраторів. Шифрування та ізоляція пам’яті означає, що навіть якщо адміністратор видалить пам’ять RAM або GPU, він побачить лише зашифрований текст. Наприклад, якщо запит про охорону здоров’я надсилається LLM у хмарі, лікарня може бути впевнена, що жоден хмарний інженер не зможе прочитати цей запит або відповідь у відкритому вигляді. Подібним чином компанія, яка розгортає пропрієтарний LLM, може гарантувати, що хмарний провайдер не зможе копіювати параметри моделі (вирішуючи проблеми крадіжки IP). Це має вирішальне значення для дотримання правил конфіденційності даних і для компаній, які стурбовані ризиком хмари з кількома клієнтами.
• Шкідливе або помилкове програмне забезпечення хосту: Навіть якщо ОС/гіпервізор хоста заражено шкідливим програмним забезпеченням, воно не може скомпрометувати анклав, де працює LLM. TEE ізолює обчислення від решти системи, тому такі загрози, як руткіти, клавіатурні шпигуни або сканери пам’яті на хості, запобігають. Це різко зменшує поверхню атаки; виконання моделі безпечне навіть на ненадійному хості. Це стосується сценарію «зла служниця» або скомпрометована інфраструктура. Це також означає, що периферійні розгортання (наприклад, модель, що працює на чужому крайньому пристрої) можуть бути захищені — власник пристрою не може змінити модель або викрасти дані.
• Несанкціонована модифікація моделі: GPU TEE допомагають забезпечити цілісність моделі. За допомогою віддаленої атестації користувач може переконатися, що запущена саме така модель (і версія) без несанкціонованих змін. Це запобігає атакам, коли хтось може замінити іншу модель або вставити бекдорну версію. Наприклад, у випадку DeepSeek R1 скептично налаштований користувач може перевірити вимірювання анклаву, щоб переконатися, що це справжня модель DeepSeek, надана розробниками, а не троянський варіант. Будь-яка зміна в двійковій моделі або вагових коефіцієнтах змінить вимірювання та буде виявлена. Це важливо для сценаріїв, коли моделі розповсюджуються третіми сторонами — клієнти можуть самостійно перевіряти те, що вони використовують.
• Шляхи викрадання даних: Анклавна модель не може передати дані через звичайні канали, оскільки весь ввід-вивід суворо контролюється та зазвичай шифрується. Розробники можуть гарантувати, що єдиними результатами є відповіді моделі, які самі підписані. ТEЕ також блокують вискоблювання пам’яті і бічний канал витік даних у значній мірі (хоча деякі побічні канали, такі як шаблони доступу або синхронізація, залишаються теоретичними проблемами, їх нетривіально використовувати в системах із зашифрованою пам’яттю). Усуваючи механізми для прихованої ексфільтрації даних (наприклад, анклав не має доступу до довільних мережевих викликів, окрім як через затверджені канали), GPU TEE гарантують, що модель не може таємно надсилати ваше підказку в інше місце. У випадку RedPill єдиним виходом є відповідь API, яку користувач бачить і перевіряє. Примірник моделі не може, скажімо, скопіювати ваші дані в ненадійне місце, не порушуючи атестацію чи підпис.
• Відповідність і контроль: З точки зору управління безпекою, запуск LLM у TEE відповідає вимогам щодо обробки конфіденційних даних. Усі взаємодії можна реєструвати в завіреній формі, надаючи an аудиторський слід що дані були оброблені з дотриманням правил конфіденційності. За потреби журнали атестації (котирування тощо) можна зберігати (навіть у блокчейні, як пропонує Phala з реєстром у ланцюзі), щоб надати довгострокові докази, які можна перевірити, що, наприклад, чернетка фінансового звіту оброблялася лише в конфіденційному середовищі. Цей рівень верифікації є новим для висновків штучного інтелекту та може допомогти в таких секторах, як фінанси, охорона здоров’я та уряд, де обов’язкова довіра та перевірка. Служби атестації та інструменти Nvidia дають змогу інтегрувати ці перевірки в автоматизовані конвеєри.
• Довіра користувачів до моделей третіх сторін: Користувачі можуть не довіряти моделі ШІ із зовнішнього джерела через потенційну приховану поведінку або обробку даних. Хоча TEE не може вирішити всі проблеми (він не може гарантувати, що модель функціональний поведінка доброякісна), це гарантує, що те, що робить модель, є обмеженим. Наприклад, якби модель була зловмисно навчена реєструвати певні вхідні дані, TEE завадить їй фактично надсилати ці журнали — найгірше, що вона може зробити, це включити їх у свій власний вихід (який побачить користувач). Крім того, оскільки ви можете перевірити хеш моделі, ви можете принаймні переконатися, що ви використовуєте відому версію моделі (а не модифіковану, яка містить додатковий троянський код). Отже, TEE = вам потрібно довіряти лише оригінальним розробникам моделі та апаратному забезпеченню, а не всьому стеку виконання чи оператору служби.

Варто зазначити, що GPU TEE насамперед спрямовані на загрози, пов’язані з конфіденційністю та цілісністю середовища виконання. Вони за своєю суттю не стосуються таких проблем, як упередження в моделі, правильність відповідей моделі чи будь-яка шкідлива логіка в межах дизайн моделі (це ортогональні проблеми). Однак, значно покращуючи безпеку середовища, GPU TEE закладають основу для a підхід нульової довіри до послуг ШІ. У такому підході можна припустити, що все (хост, мережа, навіть джерело моделі) може бути скомпрометовано, і все одно можна отримати надійні результати, оскільки апаратне забезпечення забезпечує необхідний захист і надає докази виконання. Це потужна зміна парадигми, що дозволяє використовувати такі сценарії, як конфіденційні чат-боти, захищені помічники штучного інтелекту, які обробляють приватні дані, і багатостороннє машинне навчання, де учасники діляться моделлю, не відкриваючи свої дані один одному.

Висновок

GPU Trusted Execution Environments, очолювані NVIDIA Confidential Computing on H100 GPU, змінюють спосіб безпечного розгортання та використання великих мовних моделей. Завдяки довірі до апаратного забезпечення та ізоляції всього робочого навантаження МЛ вони дозволяють збереження конфіденційності та можливість перевірки Масштабні висновки LLM — те, що було непрактично лише з анклавами ЦП. Ми дослідили, як ця технологія впроваджується та використовується на практиці: від глибокої інтеграції безпечного завантаження й атестації NVIDIA H100 із Intel TDX до реальних інфраструктур, таких як конфіденційна хмара Phala Network (Absolute Zero), яка дозволяє користувачам «перевіряти, а не просто довіряти» моделі AI. Такі проекти, як NearAI’s Private ML SDK, прискорюють впровадження, надаючи зручні для розробників інструменти для запуску LLM в анклавах, а такі сервіси, як RedPill, пропонують готові до використання конфіденційні API AI із сильними гарантіями захисту даних і цілісності результатів.

У майбутньому, оскільки все більше графічних процесорів (наприклад, Blackwell/H200) і хмарних постачальників розгортають підтримку конфіденційних обчислень, ми можемо очікувати, що конфіденційне розгортання LLM стане стандартним варіантом для будь-якого сценарію, що включає конфіденційні дані або моделі. Поєднання високопродуктивних обчислень і надійної безпеки означає, що організаціям більше не доведеться вибирати між використанням потужних моделей ШІ та збереженням конфіденційності — вони можуть мати і те, і інше. Безпечні, конфіденційні та перевірені LLM дозволить використовувати нові програми у фінансах, охороні здоров’я, юриспруденції та в будь-якій сфері, де довіра є такою ж важливою, як і інтелект. Впроваджуючи GPU TEE, ми робимо важливий крок у напрямку створення не тільки систем ШІ є потужний і корисний, але також є гідний довіри у тому, як вони обробляють наші дані та забезпечують результати.

Оригінал статті

Twitter Українською Discord Telegram

Twitter eng Youtube Github Forum