<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Alex Vyshnikov on Medium]]></title>
        <description><![CDATA[Stories by Alex Vyshnikov on Medium]]></description>
        <link>https://medium.com/@alexeyvyshnikov?source=rss-aecd215a2c22------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/0*NGCn8bXuh5V2ARsI.</url>
            <title>Stories by Alex Vyshnikov on Medium</title>
            <link>https://medium.com/@alexeyvyshnikov?source=rss-aecd215a2c22------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Fri, 20 Nov 2026 04:15:33 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@alexeyvyshnikov/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Нерозказана революція під iOS 26.]]></title>
            <link>https://medium.com/@alexeyvyshnikov/%D0%BD%D0%B5%D1%80%D0%BE%D0%B7%D0%BA%D0%B0%D0%B7%D0%B0%D0%BD%D0%B0-%D1%80%D0%B5%D0%B2%D0%BE%D0%BB%D1%8E%D1%86%D1%96%D1%8F-%D0%BF%D1%96%D0%B4-ios-26-da18f7c913f0?source=rss-aecd215a2c22------2</link>
            <guid isPermaLink="false">https://medium.com/p/da18f7c913f0</guid>
            <category><![CDATA[rozvantazhennya-khmary]]></category>
            <category><![CDATA[brauzerni-ai-dodatky]]></category>
            <category><![CDATA[webgpu-and-webcodecs]]></category>
            <category><![CDATA[frontend-ta-gpu]]></category>
            <dc:creator><![CDATA[Alex Vyshnikov]]></dc:creator>
            <pubDate>Wed, 30 Jul 2025 15:51:41 GMT</pubDate>
            <atom:updated>2025-07-30T15:52:35.067Z</atom:updated>
            <content:encoded><![CDATA[<h3>Нерозказана революція під iOS 26. WebGPU з’являється скрізь — і змінює все. Переклад статті Vahagn Khachikyan від 16/07/2025.</h3><p>Хоча більша частина уваги до iOS 26 приділялася новій системі інтерфейсу користувача Apple «glass» та оновленню екрану блокування, розробники, креативники та ентузіасти технологій не помітили набагато більшу зміну: <a href="https://webkit.org/blog/16993/news-from-wwdc25-web-technology-coming-this-fall-in-safari-26-beta/#:~:text=WebGPU%20supersedes%20WebGL%20on%20macOS%2C,designed%20prior%20to%20modern%20GPUs"><strong>iOS 26 запроваджує повну підтримку WebGPU</strong></a>. Ця розробка — не просто незначне оновлення, а остання відсутня деталь складного пазлу, що включає обробку відео та відкриває нові можливості для веб-додатків.</p><p>Це може звучати технічно, але вказує на щось важливе: <strong>відео з прискоренням GPU, обробка AI та 3D-рендеринг незабаром будуть доступні безпосередньо в усіх сучасних браузерах на всіх пристроях, включаючи iPhone та iPad</strong>. Потужність, яка раніше була доступна лише для настільних додатків, тепер доступна на мобільних пристроях. Це відкриває безліч можливостей для розробників та користувачів.</p><p>Щоб повністю зрозуміти, чому це є революційним, спочатку потрібно розглянути, як працює відео та як воно традиційно оброблялося. Обробка відео часто залежала від важкого, ресурсоємного програмного забезпечення, яке вимагало великої обчислювальної потужності, що зазвичай була доступна лише на висококласних настільних комп’ютерах або спеціалізованому обладнанні. Це стосується стандартних відеопрогравачів, програмного забезпечення для редагування і навіть потокових сервісів, які для надання високоякісного контенту мали покладатися на обробку на стороні сервера. На відміну від цього, <strong>WebGPU переносить цю важку роботу на графічний процесор клієнта через браузер, заповнюючи прогалину між веб-додатками та нативною продуктивністю</strong>.</p><p>Давайте розберемося, чому поява WebGPU на iOS знаменує нову еру для творчих інструментів, відео з штучним інтелектом та наступного покоління веб-медіа.</p><h3>Що таке WebGPU і чому це важливо?</h3><p>WebGPU — це <strong>графічний API нового покоління для веб-додатків</strong>, який є значним оновленням десятирічної технології WebGL. На відміну від WebGL, який було розроблено переважно для візуалізації 3D-сцен за допомогою фіксованого графічного конвеєра, WebGPU надає повний доступ на низькому рівні до сучасних функцій графічного процесора, зокрема до <strong>обчислювальних шейдерів, буферів пам’яті та прямого апаратного прискорення</strong>, що наближає його до потужності нативних додатків. По суті, WebGPU надає можливості, еквівалентні таким технологіям, як Metal і DirectX 12, але в зручному для веб-додатків безпечному API. Це означає, що розробники можуть використовувати <strong>всю потужність графічного процесора безпосередньо з JavaScript</strong>, що дозволяє виконувати складні паралельні обчислення та складні завдання рендерингу, які раніше були неможливими або неефективними в браузерах.</p><p>Вперше в історії веб-технологій <strong>прискорена обробка відео за допомогою графічного процесора</strong> (фільтри, композиція, ефекти), <strong>виконання AI-завдань у реальному часі</strong> (наприклад, розпізнавання мови, сегментація зображень, моделі дифузії), пряма трансляція з динамічними накладеннями та інтерактивна 3D-графіка можуть відбуватися безпосередньо в браузері <strong>без плагінів або нативних додатків</strong> — лише за допомогою веб-технологій. Це відкриває можливості передової графіки та штучного інтелекту навіть для невеликих команд або окремих розробників, дозволяючи їм створювати складні додатки повністю у веб-стеку.</p><h3>Чому iOS 26 є останньою ланкою в ланцюжку.</h3><p>Дотепер WebGPU був доступний у браузерах на базі Chromium (Chrome, Edge) у Windows, macOS та Android, а також у Safari на macOS (починаючи з Safari 17+). Однак <strong>Safari на iOS та iPadOS не підтримував WebGPU</strong>, що означало, що значна частина мобільних користувачів (усі користувачі iPhone/iPad) не могли скористатися цими вдосконаленнями. Це обмеження заважало створенню справді міжплатформних веб-додатків, оскільки розробники не могли покладатися на функції WebGPU, якщо велика частина користувачів (iOS Safari) не підтримувала їх.</p><p>Але Apple WWDC 2025 розкрила важливу інформацію: Safari в iOS 26 буде повністю підтримувати WebGPU. Розробники в екосистемі Apple тепер можуть запускати прискорену GPU обробку відео на iPhone та iPad, виконувати завдання штучного інтелекту на пристроях у Safari, візуалізувати складні 3D-сцени та ефекти шейдерів у мобільних веб-додатках, а також пропонувати справжні творчі інструменти поза обмеженнями App Store. Це значна зміна, оскільки вона усуває давню перешкоду, яка заважала розвитку просунутих веб-додатків на iOS.</p><p>Оскільки WebGPU вже був доступний в Safari 17+ на macOS, повне прискорення GPU на всіх пристроях Apple — від настільних комп’ютерів до планшетів і телефонів — тепер об’єднано в єдиний веб-стандарт. Це спрощує розробку та забезпечує стабільну продуктивність на всіх пристроях, що полегшує розробникам створення міжплатформних додатків, які «пишуться один раз, працюють скрізь» з майже нативною ефективністю. Реалізація Apple WebGPU побудована на базі Metal (низькорівневого графічного API Apple), що означає, що веб-додатки отримують майже металеву продуктивність на графічних процесорах Apple. Фактично, відображення WebGPU в Safari на Metal дозволяє досягти вищої частоти кадрів і кращих ефектів при меншому використанні процесора для веб-вмісту, такого як ігри, інструменти 3D-моделювання та машинне навчання на пристрої, і все це при меншому споживанні заряду акумулятора.</p><h3>Що це дає: модульний відеостек на базі WebGPU</h3><p>Вплив цієї зміни не є лише теоретичним; він вже відчутний. З’являється нова хвиля фреймворків та движків, які використовують цю потужність. Ми спостерігаємо перехід до <strong>движків рендерингу відео на базі часової шкали</strong>, редагування та компонування відео в реальному часі в браузері, модульних конвеєрів рендерингу, де кожен медіаоб’єкт (відео, текст, аудіо або навіть шар, створений штучним інтелектом) керується графічним процесором, а також декларативного створення відео за допомогою веб-фреймворків (таких як React) у поєднанні з WebGPU та штучним інтелектом.</p><p>Уявіть собі браузерну відеоплатформу, яка дозволяє завантажувати шаблони з JSON, відтворювати кожен кадр у реальному часі за допомогою обчислювальних шейдерів, запускати модель перетворення мови в текст Whisper або фільтри зображень за допомогою Transformer.js безпосередньо на пристрої, а також передавати ці кадри, відтворені за допомогою графічного процесора, на рекордер, сервіс прямої трансляції або бездисплейний відеокодер. Все це можна зробити <strong>без зайвого копіювання пікселів</strong> між CPU та GPU, використовуючи повністю модульний конвеєр, де WebGPU виконує найважчу роботу на кожному етапі. Такий рівень інтеграції та ефективності раніше був немислимим у веб-середовищі.</p><p><strong>WebGPU ефективно дозволяє браузеру виконувати функції високопродуктивної студії обробки відео.</strong>Розробники можуть програмувати власні шейдери для обробки кольорокорекції, переходів або ефектів на відеокадрах у реальному часі. Вони можуть компонувати кілька відео- та графічних шарів на льоту, і все це на графічному процесорі. Оскільки ці операції виконуються на графічному процесорі, навіть складні ефекти можна відтворювати в реальному часі або з дуже високою роздільною здатністю, що було б неможливо за допомогою JavaScript, який залежить від центрального процесора.</p><p>Конкретний приклад модульного відеостека WebGPU може виглядати так:</p><ul><li><strong>Відео-таймлайн на базі GPU</strong>, де кожен кадр обчислюється за допомогою <strong>обчислювального шейдера</strong>WebGPU (для загальної обробки) або <strong>фрагментного шейдера</strong> (для обробки зображень).</li><li><strong>WebCodecs</strong> (більше про це пізніше) забезпечує низькорівневий доступ до відеокадрів. Кадри декодуються в текстури GPU, обробляються WebGPU (наприклад, застосовуються фільтри або накладення), а потім передаються до кодера або виводяться на екран.</li><li>Кожен елемент відеокадру (кліпи, зображення, текст, ефекти) може бути об’єктом із власним шейдером WebGPU, а кінцева композиція є результатом об’єднання їхніх результатів в одному проході рендерингу. Описуючи сцену в декларативному форматі (JSON або дерево компонентів JSX/React), можна динамічно генерувати відео або навіть інтерактивні медіа в браузері.</li></ul><h3>Штучний інтелект + WebGPU = локальний інтелект у реальному часі</h3><p>Одним із найцікавіших наслідків WebGPU є <strong>локальна обробка штучного інтелекту в режимі реального часу</strong>. Тепер, коли бібліотеки, такі як <strong>Transformer.js</strong> (від Hugging Face) та <strong>ONNX Runtime</strong>, підтримують виконання WebGPU, моделі, такі як Whisper від OpenAI (для розпізнавання мови), MobileNet (для розпізнавання зображень) і навіть деякі моделі дифузії (для генерації зображень або фільтрів), можуть працювати безпосередньо в браузері на будь-якій платформі. Це означає, що відеошар вашого веб-додатка може містити субтитри, згенеровані штучним інтелектом будь-якою мовою, функцію виявлення або сегментації об’єктів у реальному часі, а також миттєве поліпшення зображення — і все це обробляється локально на графічному процесорі пристрою, а не надсилається на сервер.</p><p>Ця можливість перетворює браузер на потужний інструмент для додатків на базі штучного інтелекту, забезпечуючи такі функції, як переклад у реальному часі, накладення доповненої реальності та персоналізовані рекомендації щодо вмісту без необхідності використання хмарних служб. Поєднання штучного інтелекту з WebGPU забезпечує <strong>інтелектуальну обробку даних у реальному часі</strong>, що раніше було можливим лише за допомогою спеціального обладнання або обробки на стороні сервера. Це демократизує передові технології штучного інтелекту: користувачі отримують миттєві результати та підвищену конфіденційність (оскільки дані не залишають пристрій), а розробники економлять на хмарних обчислювальних ресурсах.</p><h3>Інтеграція з обробкою медіа за допомогою штучного інтелекту</h3><p>Синергія між WebGPU та сучасними технологіями обробки мультимедіа на основі штучного інтелекту відкриває нові можливості для веб-додатків. Використовуючи прискорення WebGPU на графічному процесорі, розробники можуть виконувати складні завдання штучного інтелекту безпосередньо в браузері, покращуючи обробку мультимедіа за допомогою інтелекту в режимі реального часу. Основні переваги:</p><ul><li><strong>Інтелектуальні поліпшення в режимі реального часу:</strong> WebGPU дозволяє виконувати моделі штучного інтелекту для таких завдань, як поліпшення якості зображень (наприклад, шумозаглушення, надвисока роздільна здатність), інтерполяція кадрів відео, перенесення стилів або колоризація безпосередньо в браузері. Наприклад, додаток може використовувати нейронну мережу для підвищення роздільної здатності відео або частоти кадрів у реальному часі. Оскільки ці моделі можуть працювати на графічному процесорі, користувачі отримують <strong>миттєвий відгук</strong> — бачать ефект у реальному часі — з поліпшеною якістю зображення та мінімальною затримкою.</li><li><strong>Обробка штучного інтелекту на пристрої:</strong> За допомогою WebGPU моделі штучного інтелекту можуть працювати локально на пристроях користувачів, що зменшує або усуває необхідність обробки в хмарі. Це покращує конфіденційність (чутливі дані, такі як зображення або аудіо, ніколи не залишають пристрій) і зменшує затримку, оскільки результати не потрібно надсилати на сервер і назад. Це також означає, що додаток може працювати в автономному режимі або в мережах з великою затримкою. Наприклад, додаток для відеочату в реальному часі може розмивати фон або розпізнавати обличчя в браузері, замість того щоб надсилати відео на сервер для обробки.</li><li><strong>Створення контенту на основі штучного інтелекту:</strong> Розробники можуть інтегрувати моделі для автоматизації або допомоги в завданнях зі створення контенту, таких як генерація підписів/субтитрів для відео (перетворення мови в текст за допомогою Whisper), миттєвий переклад аудіо або пропозиції щодо редагування відео. Ця інтеграція дає творцям можливість створювати високоякісний контент з мінімальними зусиллями та будувати інтерактивні досвіди (уявіть освітній відеоплеєр, який може відповідати на запитання про вміст відео в режимі реального часу за допомогою вбудованої мовної моделі).</li></ul><h3>Інтеграція з Transformers.js</h3><p><a href="https://huggingface.co/docs/transformers.js/">Transformers.js</a> — це бібліотека для запуску найсучасніших моделей Transformer (від Hugging Face) безпосередньо в JavaScript. Її інтеграція з WebGPU є чудовим прикладом того, як веб-штучний інтелект виграє від цієї революції. Фактично, Transformers.js v3 запровадила однорядкове прискорення WebGPU: просто вкажіть пристрій як «webgpu» під час завантаження моделі, і бібліотека виконає нейронну мережу на GPU для значного прискорення.</p><p>Деякі області, які виграють від цього:</p><ol><li><strong>Обробка природної мови (NLP)</strong>: За допомогою WebGPU Transformers.js може запускати мовні моделі для перекладу, аналізу настроїв, узагальнення тексту тощо набагато швидше, ніж за допомогою WebAssembly на процесорі. Наприклад, браузерний додаток може перекладати текст або відповідати на запитання, використовуючи локальну мовну модель у реальному часі. Увімкнути WebGPU так само просто, як встановити опцію, і це може бути до <em>100 разів швидше, ніж JavaScript/WASM</em> для важких моделей.</li><li><strong>Комп’ютерний зір</strong>: Transformers.js також підтримує моделі зору (наприклад, класифікатори зображень або детектори об’єктів). За допомогою WebGPU ви можете запускати модель виявлення об’єктів на кадрах з камери в реальному часі безпосередньо в браузері, виділяти виявлені об’єкти на полотні, і все це без залучення сервера. Це можливо завдяки тому, що WebGPU може ефективно обробляти великі тензорні обчислення, необхідні для моделей глибокого навчання зору, а бібліотеки, такі як ONNX Runtime Web, забезпечують механізм виконання. Модель на зразок MobileNet або YOLO, виконана за допомогою WebGPU, може досягти майже реального часу інференції на сучасному смартфоні, що було б неможливо при використанні CPU.</li><li><strong>Покращена продуктивність і нові можливості</strong>: прискорення за допомогою GPU значно покращує <strong>пропускну здатність і затримку</strong> моделей Transformer у браузері. Таке прискорення інференції не тільки робить існуючі додатки швидшими, але й відкриває можливості для нових, більш складних додатків. Наприклад, стає можливим одночасне виконання декількох моделей штучного інтелекту (наприклад, розпізнавання мови, переклад і обробка зображень одночасно) в одному веб-додатку. Це також дозволяє експериментувати з більшими моделями, які були занадто повільними на процесорі. Кінцевим результатом є багатший набір функцій на базі штучного інтелекту в Інтернеті, від творчих інструментів з підтримкою штучного інтелекту до інтелектуальних агентів, що працюють повністю в браузері.</li></ol><p><strong>Приклад:</strong> Запуск моделі Hugging Face Transformers на WebGPU є дуже простим. Завдяки інтеграції з ONNX Runtime Web, увімкнення прискорення GPU є таким же простим, як і вказання пристрою. Наприклад, ось як можна завантажити невелику модель вбудовування тексту для обчислення вбудовування тексту в браузері:</p><pre>import { pipeline } from &quot;@huggingface/transformers&quot;;\<br>\<br>// Create a feature-extraction pipeline on WebGPU\<br>const extractor = await pipeline(\<br>`  `&quot;feature-extraction&quot;,\<br>`  `&quot;mixedbread-ai/mxbai-embed-xsmall-v1&quot;,\<br>`  `{ device: &quot;webgpu&quot; }\<br>);\<br>\<br>// Compute embeddings for some text\<br>const texts = [&quot;Hello world!&quot;, &quot;This is an example sentence.&quot;];\<br>const embeddings = await extractor(texts, { pooling: &quot;mean&quot;, normalize: true });\<br>console.log(embeddings.tolist());</pre><p>У наведеному вище коді налаштування { device: «webgpu» } вказує Transformers.js використовувати бекенд WebGPU. В результаті важкі обчислення лінійної алгебри для моделі виконуються на GPU. Операції, які могли б зайняти десятки або сотні мілісекунд на CPU, можуть виконуватися набагато швидше на GPU, що дозволяє отримувати результати майже в реальному часі навіть для досить складних моделей. Це приклад того, як бібліотеки високого рівня абстрагують складність: під капотом бібліотека використовує WebGPU через ONNX Runtime для планування тензорних операцій моделі на GPU, тому розробникам не потрібно самостійно писати код для GPU.</p><h3>WebGPU та WebCodecs: потужне поєднання</h3><p>Інтеграція WebGPU з API <strong>WebCodecs</strong> ще більше розширює можливості веб-додатків, зокрема в області обробки та потокового передавання відео. WebCodecs забезпечує низькорівневий ефективний доступ до кодування та декодування мультимедіа, що дає розробникам можливість безпосередньо керувати відеокадрами та аудіобуферами без значних накладних витрат. У поєднанні з WebGPU це означає, що ви можете декодувати відеокадри, обробляти їх на графічному процесорі, а потім перекодувати або відображати — і все це в єдиному потоці.</p><ol><li><strong>Ефективна обробка мультимедіа</strong>: WebCodecs дозволяє використовувати апаратні кодери/декодери відео (кодеки) безпосередньо з JavaScript, що забезпечує ефективне декодування відеокадрів або кодування відеопотоків. Наприклад, веб-додаток може використовувати VideoDecoder для декодування вхідного відеопотоку в необроблені кадри, передавати ці кадри в WebGPU для обробки (наприклад, застосування фільтра або алгоритму комп’ютерного зору), а потім використовувати VideoEncoder для стиснення вихідних даних. Зберігаючи кадри на GPU (за допомогою текстур GPU) протягом усього процесу, ви уникаєте дорогих копіювань пам’яті між CPU і GPU. WebGPU може працювати з кадрами в їхньому рідному форматі (навіть у колірному просторі YUV) завдяки новим можливостям API (таким як імпорт зовнішніх текстур), що робить конвеєр надзвичайно ефективним.</li><li><strong>Низька затримка</strong>: Забезпечуючи прямий доступ до медіакадрів, WebCodecs зменшує затримку в відеопотоках. Кадри можна обробляти під час декодування, без багатокадрового буферизації, яке можуть вимагати API високого рівня або елементи &lt;video&gt;. У поєднанні зі швидкістю WebGPU це дозволяє створювати додатки, що працюють у реальному часі, такі як відеоконференції, клієнти для потокового передавання ігор у хмарі або ефекти для відео в прямому ефірі з мінімальною затримкою. Наприклад, шейдер WebGPU можна використовувати для доповнення потоку веб-камери ефектами AR <em>на кожному кадрі</em> під час декодування, після чого кадр можна негайно відобразити або перекодувати для потокової передачі. Результатом є майже миттєва обробка, що є критично важливим для інтерактивних або прямих додатків.</li><li><strong>Безперебійна інтеграція з WebGPU</strong>: Мабуть, найважливішим нововведенням є те, що тепер можна безпосередньо <strong>імпортувати WebCodecs VideoFrame у WebGPU</strong> як текстуру GPU. Останні оновлення специфікації WebGPU та реалізацій браузерів додали для цього GPUDevice.importExternalTexture(). Це дозволяє використовувати VideoFrame (декодований WebCodecs або витягнутий з елемента &lt;video&gt;) у WebGPU без копіювання даних пікселів у пам&#39;ять CPU. GPU може взяти зразок із цієї зовнішньої текстури в шейдері або скопіювати його в іншу текстуру, досягнувши передачі без копіювання від декодера до конвеєра GPU. На практиці, якщо ви створюєте, наприклад, веб-редактор відео, ви можете декодувати відео в кадри, застосувати шейдери GPU для корекції кольору та переходів на кожному кадрі, а потім кодувати результат, повністю в браузері. Єдині копії, які використовуються, — це ті, що абсолютно необхідні (наприклад, стиснене відео -&gt; необроблений кадр в пам&#39;яті GPU -&gt; стиснене вихідне зображення), без додаткових накладних витрат від JavaScript.</li></ol><p><strong>Приклад:</strong> Нижче наведено спрощений приклад, що демонструє, як використовувати WebCodecs та WebGPU разом для ефективної обробки відеокадрів:</p><pre>// Assume we have an &lt;video&gt; element in the page:\<br>const videoElement = document.querySelector(&quot;video&quot;);\<br>\<br>// Create a VideoFrame from the HTMLVideoElement&#39;s current frame\<br>const videoFrame = new VideoFrame(videoElement);\<br>\<br>// Import the VideoFrame into WebGPU as an external texture\<br>const texture = device.importExternalTexture({ source: videoFrame });\<br>\<br>// Now &#39;texture&#39; is a GPUExternalTexture that can be sampled in WebGPU shaders\<br>// (e.g., in a compute shader or fragment shader) without copying pixel data to the CPU.</pre><p>У наведеному вище коді device.importExternalTexture бере VideoFrame (який WebCodecs може надати з декодування відео або безпосередньо з медіаелемента) і створює GPUExternalTexture, який можуть читати шейдери WebGPU. Це дозволяє отримати конвеєр з майже нульовим копіюванням: кадр відео залишається в пам’яті GPU. Шейдер WebGPU може, наприклад, взяти зразок цієї текстури, застосувати фільтр і відтворити на іншій текстурі або полотні. Після обробки ви навіть можете використовувати GPUDevice.copyExternalImageToTexture(), щоб скопіювати оброблений кадр у новий VideoFrame і передати його в WebCodecs VideoEncoder для виведення. Така тісна інтеграція дозволяє створювати <em>високопродуктивні відеоредактори, ефекти AR та інші медіапрограми</em> на веб-платформі, які не поступаються нативним програмам.</p><h3>Відношення до FFmpeg</h3><p>Щоб оцінити, як далеко просунулася обробка веб-медіа, варто згадати <strong>FFmpeg</strong> — широко поширену мультимедійну платформу з відкритим кодом, яка лежить в основі більшості відео- та аудіофайлів в Інтернеті. FFmpeg (та його бібліотеки, такі як libavcodec) є фактично основою обробки відео в багатьох середовищах, забезпечуючи кодування/декодування практично всіх форматів. WebCodecs — це, по суті, зручний для браузерів прояв можливостей FFmpeg, і насправді багато кодеків у WebCodecs створені під впливом або навіть безпосередньо на основі десятиліть розробки кодеків, які представляє FFmpeg.</p><p><strong>WebCodecs базується на тих самих принципах, що й FFmpeg</strong>, пропонуючи низькорівневий доступ до операцій кодування/декодування відео та аудіо. Це означає, що веб-розробники тепер можуть виконувати в браузері багато завдань, які раніше вимагали використання нативних додатків або обробки на стороні сервера за допомогою FFmpeg. Наприклад, сервери YouTube та Netflix використовують FFmpeg для транскодування відео; за допомогою WebCodecs веб-додаток може транскодувати або обробляти відеопотоки на стороні клієнта, використовуючи апаратне прискорення користувача.</p><p>Потужність FFmpeg полягає в підтримці величезного набору кодеків і форматів, що робить його <em>універсальним інструментарієм</em> для мультимедіа. Аналогічно, WebCodecs надає стандартизований спосіб прямого доступу до поширених кодеків (таких як H.264, VP8/VP9, AV1 для відео, AAC/Opus для аудіо тощо). Використовуючи вбудовані в браузер медіакодеки (часто з апаратним прискоренням), WebCodecs може наблизитися до ефективності FFmpeg, але в ізольованому, портативному контексті веб.</p><p>Розробників FFmpeg часто називають невидимими героями сучасного цифрового світу — вони втілили в програмному забезпеченні неймовірний багаж знань про мультимедіа: високооптимізовані реалізації кодеків (багато з яких написані на низькорівневій мові C або асемблері для підвищення продуктивності), алгоритми фільтрації та обробки тощо. Варто визнати, що <strong>без спадщини FFmpeg WebCodecs, ймовірно, не був би таким надійним</strong>, як зараз. Багато реалізацій кодеків у браузерах побудовані на тих самих концепціях або навіть мають спільне походження з бібліотеками кодеків FFmpeg. (Звичайно, кодеки мають ліцензійні обмеження, які веб-платформа обходить, використовуючи кодеки, надані системою, коли це можливо).</p><p>Завдяки WebGPU та WebCodecs, які тепер доступні в браузері, багато можливостей, які традиційно асоціюються з FFmpeg, можна реалізувати на стороні клієнта. Розробники можуть створювати веб-додатки для редагування відео, перетворення форматів, потокового передавання з адаптивною швидкістю передавання даних тощо, і все це в браузері. Це зменшує навантаження на сервер і забезпечує більш інтерактивну роботу з низькою затримкою. Наприклад, <strong>веб-редактор відео</strong> може використовувати WebCodecs для декодування відеофайлу в кадри, дозволяючи користувачеві обрізати або додавати ефекти за допомогою шейдерів WebGPU, а потім кодувати результат — і все це без завантаження відеоматеріалу на сервер або встановлення будь-яких програм. Продуктивність підвищується завдяки апаратному прискоренню на кожному етапі, подібно до того, як це робить нативний додаток, що використовує FFmpeg з кодеком, що підтримує GPU.</p><p>Крім того, WebCodecs надає розробникам детальний контроль: ви можете отримати кожен необроблений кадр як об’єкт VideoFrame і навіть отримати доступ до байтів, якщо це необхідно (для розширеної обробки або передачі в WebAssembly тощо). Ця деталізація означає, що користувацький ефекти або фільтри можуть бути реалізовані додатком (використовуючи WebGPU для швидкості або WASM, якщо потрібно), а не обмежуватися можливостями відеоелемента. <strong>Це дійсно надає розробникам величезні можливості</strong>, аналогічні тим, що FFmpeg пропонує розробникам нативних додатків.</p><p>Підсумовуючи, синергія між WebCodecs і WebGPU дає веб-розробникам можливість створювати багаті, медіа-інтенсивні додатки, які є одночасно потужними та ефективними. Вони базуються на перевірених концепціях світу FFmpeg, але переносять їх на сторону клієнта. Таким чином, веб стає конкурентоспроможною платформою для обробки мультимедіа, здатної задовольнити вимоги до продуктивності сучасних відео- та аудіододатків.</p><h3>Підтримка фреймворків: Three.js та інші</h3><p>Поява WebGPU також є благом для популярних веб-графічних фреймворків, таких як <strong>Three.js</strong>, <strong>Babylon.js</strong>, <strong>PlayCanvas</strong> та інших. Ці бібліотеки, які раніше базувалися на WebGL, зараз переходять на WebGPU, щоб скористатися його розширеними функціями та продуктивністю. Насправді, розробники Safari зазначили, що багато фреймворків вже чудово працюють з WebGPU на iOS 26, зокрема <a href="https://threejs.org/">Three.js</a>, <a href="https://www.babylonjs.com/">Babylon.js</a>, веб-експорт Unity, <a href="https://playcanvas.com/">PlayCanvas</a> і навіть бібліотеки штучного інтелекту, такі як Transformers.js і <a href="https://onnxruntime.ai/">ONNX Runtime</a>.</p><p>Ось як WebGPU покращує ці фреймворки та що це означає для розробників і користувачів:</p><ol><li><strong>Покращене 3D-рендеринг (Three.js, Babylon.js)</strong>: WebGPU відкриває можливості для більш детальної та реалістичної графіки в браузері. Three.js тепер може використовувати обчислювальні шейдери та більш гнучкі конвеєри рендерингу. Наприклад, такі передові технології, як <strong>глобальне освітлення в реальному часі, фізично реалістичний рендеринг з великою кількістю джерел світла або навіть ефекти трасування променів</strong>, стають більш досяжними. З WebGL це було складно зробити в великих масштабах через обмеження API; гнучкість WebGPU (GPU можна використовувати для загальних обчислювальних завдань, таких як обчислення відбиття світла) означає, що сцени Three.js можуть досягти нового рівня реалістичності. Ранні демоверсії показують, що складні сцени з десятками тисяч об’єктів або текстурами з високою роздільною здатністю працюють більш плавно під WebGPU. А оскільки WebGPU надає більше контролю над пам’яттю та плануванням, фреймворки можуть краще оптимізувати використання ресурсів, що призводить до вищої частоти кадрів.</li><li><strong>Покращена продуктивність та ефективність</strong>: API WebGPU ближче до того, як працюють сучасні графічні процесори, що означає менше накладних витрат і більш стабільну продуктивність. При великих навантаженнях додаток на базі WebGPU може підтримувати більш плавні анімації та нижче використання процесора в порівнянні з WebGL. Для користувачів це означає більш насичену графіку, яка не розряджає батарею так швидко (особливо на мобільних пристроях, де ефективність має вирішальне значення). Для розробників це означає можливість додавати більше функцій — наприклад, гра може мати більш складну фізику або штучний інтелект, що працює паралельно з рендерингом, оскільки графічний процесор може взяти на себе більшу частину навантаження рендерингу.</li><li><strong>Розширені можливості (обчислення та GPGPU)</strong>: на відміну від WebGL, WebGPU не обмежується малюванням трикутників. Він розглядає графічний процесор як загальний обчислювальний пристрій. Тепер фреймворки можуть інтегрувати GPGPU (універсальні обчислення на GPU) для таких завдань, як системи частинок, фізичні симуляції або штучний інтелект, безпосередньо в графічний конвеєр. Наприклад, фізичний движок може запускати обчислювальний шейдер для оновлення позицій частинок або симуляції твердих тіл у кожному кадрі повністю на GPU, а потім на етапі рендерингу просто зчитувати результати. Це було можливо в WebGL за допомогою хаків (використовуючи текстури як буфери даних), але WebGPU робить це простішим і набагато швидшим за допомогою відповідних <strong>буферів зберігання</strong> та обчислювальних проходів. Це також корисно для фреймворків, що не пов’язані з графікою, — наприклад, <strong>TensorFlow.js</strong> може переносити операції нейронних мереж на WebGPU, значно прискорюючи роботу штучного інтелекту в браузері.</li><li><strong>Кросплатформна сумісність</strong>: Оскільки всі основні браузери переходять на WebGPU (а тепер до них приєднався і Safari), розробники, які використовують фреймворки на зразок Three.js, можуть розраховувати на однакову поведінку на різних пристроях. Додаток Three.js, що використовує функції WebGPU, повинен працювати однаково в Chrome/Edge (з Direct3D або Vulkan під капотом), Firefox (якщо ввімкнено) і Safari (з Metal під капотом). Ця уніфікована мета є полегшенням — більше немає погіршення якості роботи на iOS. Це також означає, що спільнота може зосередитися на оптимізації WebGPU, а не на підтримці паралельного коду WebGL для iOS. Наприклад, майбутня версія Three.js <strong>TSL (Typed Shader Language)</strong>, нова система для генерації шейдерів, розробляється з урахуванням WebGPU (для виведення шейдерів WGSL). Це спростить написання власних шейдерів, які працюють на різних платформах, і забезпечить перевірку типів TypeScript для коду шейдерів. Впровадження WebGPU гарантує, що ці зусилля будуть варті того, оскільки ця технологія буде широко підтримуватися.</li></ol><p>Окрім графічних движків, <strong>ігрові движки та інші інструменти</strong>, що експортують у веб (наприклад, Unity або Unreal через WebAssembly), використовують WebGPU для досягнення майже нативного рівня продуктивності. Веб-експорт Unity у 2024 році матиме опцію для WebGPU, що забезпечить набагато кращу продуктивність, ніж старий шлях WebGL у складних 3D-сценах. Ми можемо очікувати, що веб-контент все більше стиратиме межу з нативними додатками: багатші 3D-ігри, VR/AR-досвід (з WebXR + WebGPU) та важкі додатки, такі як CAD або програми для редагування відео, що працюють у браузері з тією ж швидкістю, якої користувачі очікують від нативного програмного забезпечення.</p><h3>Сумісність між бібліотеками WebGPU: TypeGPU та міжбібліотечна головоломка</h3><p>З появою численних фреймворків і бібліотек, що працюють на WebGPU (для графіки, штучного інтелекту тощо), постає нове завдання: <strong>сумісність</strong>. Як ці різні бібліотеки можуть ефективно взаємодіяти на графічному процесорі? Наприклад, уявіть, що ви хочете використовувати вихідні дані рендерингу Three.js (текстуру) як вхідні дані для моделі TensorFlow.js (яка очікує тензор). Обидві моделі працюють на графічному процесорі через WebGPU, тому теоретично все має працювати без проблем — достатньо лише обмінятися даними в пам’яті графічного процесора. Однак на практиці їхні внутрішні представлення та API можуть не збігатися, тому з’єднати їх може бути складно.</p><p>Традиційно існує два способи забезпечити взаємодію різних бібліотек:</p><ul><li><strong>Копіювати дані через CPU</strong>: зчитати дані з GPU назад у JavaScript (пам’ять CPU), а потім передати їх іншій бібліотеці для повторного завантаження в контекст GPU. З точки зору розробника це <strong>просто</strong> (достатньо використовувати API бібліотеки для отримання та встановлення даних), але надзвичайно <strong>повільно</strong>, часто в сотні разів повільніше, ніж залишатися на GPU. Для даних з високою пропускною здатністю, таких як зображення або відеокадри, це зазвичай не підходить для роботи в режимі реального часу.</li><li><strong>Написати власний код зв’язку GPU</strong>: написати обчислювальний шейдер WebGPU, який бере буфер/текстуру GPU однієї бібліотеки і перетворює або подає її у формат, необхідний для іншої бібліотеки, не виходячи з VRAM. Це <strong>швидко</strong>, але складно на практиці — потрібно мати глибокі знання про структури даних обох бібліотек, вміти працювати з нетипізованими буферами пам’яті та писати власний код шейдерів. Це також схильне до помилок, оскільки ви, по суті, виконуєте ручну взаємодію з мінімальною допомогою системи типів або інструментів.</li></ul><p>Зустрічайте <strong>TypeGPU</strong>, нову бібліотеку TypeScript, розроблену для вирішення цієї проблеми. TypeGPU покликана виступати <strong>містком між JavaScript і WebGPU</strong>, спрощуючи написання коду для GPU типово безпечним та ергономічним способом. Однією з її головних особливостей є можливість писати «клей-код» у TypeScript, який <strong>компілюється в мову шейдингу WebGPU (WGSL)</strong> у фоновому режимі. Це означає, що ви можете, наприклад, написати функцію в TypeScript, яка бере текстуру з Three.js і створює буфер, придатний для TensorFlow.js, а TypeGPU перетворить його на шейдер GPU, який виконує передачу — без обміну даними з CPU і з перевіркою під час компіляції, що ви використовуєте правильні типи/формати.</p><p>TypeGPU по суті розглядає GPU як іншу «платформу», подібно до того, як можна розглядати сервер у повнофункціональній розробці. Творці наводять аналогію з написанням сервера і клієнта однією мовою — тут це CPU і GPU однією мовою (TypeScript). За допомогою сучасних інструментів побудови (esbuild, Vite тощо) TypeGPU надає плагін, в якому ви позначаєте певні функції анотацією «kernel» або подібною (як показано в їхніх прикладах), щоб вказати, що вони повинні виконуватися на GPU. Під час побудови ці функції витягуються і компілюються в WGSL, а бібліотека надає хуки виконання для їх виклику як ядер GPU.</p><p><strong>Чому це так потужно?</strong> Тому що це дає розробникам <em>перевірений на тип, високорівневий доступ</em> до написання коду GPU glue. Замість ручного вирівнювання байтів та індексів, TypeGPU може автоматично обробляти розміщення даних, гарантувати, що TypeScript-вигляд структури відповідає вигляду шейдера, та виявляти помилки на ранній стадії. Навіть можна проводити модульне тестування цих «функцій GPU» на CPU (оскільки вони також можуть виконуватися як звичайний JS для тестування). В кінцевому підсумку це знижує бар’єр для взаємодії різних бібліотек, що використовують WebGPU. Бібліотека, така як TensorFlow.js, може надати API на базі TypeGPU для прямого прийому текстур, або ігровий движок може дозволити вам вводити власну логіку GPU за допомогою функцій TypeGPU без необхідності писати необроблений WGSL.</p><p><a href="https://docs.swmansion.com/TypeGPU/integration/webgpu-interoperability/#:~:text=TypeGPU%20is%20built%20in%20a,the%20rest%20of%20the%20codebase">TypeGPU</a> також наголошує на поступовому впровадженні та сумісності. Вам не потрібно переписувати весь додаток, щоб використовувати його — ви можете обгорнути один буфер або частину вашого конвеєра в типізовані абстракції TypeGPU і отримати миттєві переваги. Під капотом його об’єкти відповідають 1:1 об’єктам WebGPU (<a href="https://docs.swmansion.com/TypeGPU/integration/webgpu-interoperability/#:~:text=Since%20TypeGPU%20is%20a%20very,raw%20WebGPU%20resources%20used%20underneath">ви завжди можете «розгорнути» об’єкт TypeGPU, щоб отримати базовий GPUBuffer або GPUTexture тощо</a>). Це означає, що він добре працює з існуючими фреймворками: ви можете взяти GPUTexture з Three.js, обгорнути його (або просто передати) у функцію TypeGPU, зробити з ним щось, а потім повернути результат, який може спожити TensorFlow.js.</p><p>Конкретний сценарій, який вирішує TypeGPU, був описаний його розробниками: витяг текстури з Three.js і використання її як тензора в TensorFlow.js. За допомогою TypeGPU можна написати функцію ядра в TS, яка знає формат текстури з Three (скажімо, RGBA8 unorm) і необхідний формат тензора (можливо, масив чисел з плаваючою комою), і вона може виконати перетворення на GPU. Система TypeGPU забезпечить правильну параметризацію шейдера і відповідність даних, що вводяться/виводяться, очікуваним типам, виявляючи помилки під час компіляції, а не під час виконання. Цей підхід забезпечує <strong>найкраще з обох світів</strong> — ефективність передачі та перетворення між GPU, а також продуктивність написання на мові високого рівня з типовою безпекою.</p><p>Більше того, TypeGPU відкриває двері до більш <strong>модульної екосистеми GPU</strong>: бібліотеки можуть стати більш настроюваними, дозволяючи користувачам визначати поведінку GPU. Наприклад, бібліотека для побудови графіків може дозволити користувачам передавати ядро TypeGPU для визначення власного розміру точки або розрахунку кольору (як показано в демо TypeGPU). Таким чином, замість того, щоб просто надавати статичні параметри конфігурації, бібліотека може сказати «дайте мені функцію, яка обчислює цей атрибут», і ця функція буде виконуватися на кожній вершині/пікселі в конвеєрі GPU. Це схоже на введення залежностей, але для коду GPU — що забезпечує потужну розширюваність без втрати продуктивності.</p><p>Підсумовуючи, <strong>TypeGPU та подібні проекти</strong> (такі як <a href="https://shadeup.dev/">Shadeup</a>, інший проект для спільного написання JS та WGSL) роблять можливим плавну взаємодію між бібліотеками WebGPU, які швидко розвиваються. Вони забезпечують зв’язок, який дозволяє, наприклад, ігровому двигуну на базі WebGPU, бібліотеці штучного інтелекту та набору інструментів для обробки відео обмінюватися даними в пам’яті GPU та викликати функції один одного. У міру дозрівання цих інструментів ми можемо очікувати формування <em>екосистеми WebGPU</em>, де різні бібліотеки можна буде комбінувати та складати для створення складних додатків (уявіть поєднання фізичного движка з графічним движком та модулем прийняття рішень на основі штучного інтелекту, і все це в браузері). І що важливо, розробники можуть робити це <em>без</em> заглиблення в найнижчі рівні деталей кожного з’єднання, оскільки цим займаються типово безпечні шари.</p><p>TypeGPU все ще розвивається (існує активний план розвитку, що включає такі речі, як повна інтеграція мови шейдерів у TypeScript), але його існування свідчить про те, що спільнота усвідомлює проблему взаємодії і активно її вирішує. Кінцева мета полягає в тому, щоб ви, як розробник, могли зосередитися на логіці вашого додатка, а ці бібліотеки обробляли стандартні завдання комунікації з GPU та маршалінгу даних. Іншими словами, <strong>ви можете використовувати звичайні WebGPU та WGSL там, де це необхідно, і покладатися на TypeGPU, щоб все працювало правильно та ефективно.</strong></p><h3>Відкриваючи нові можливості</h3><p>Злиття WebGPU, WebCodecs та штучного інтелекту на пристроях відкриває можливості, які раніше були лише фантастикою. Ось лише кілька прикладів того, що тепер можна створити в Інтернеті завдяки цим досягненням:</p><ul><li><strong>Редагування відео в реальному часі</strong>: уявіть собі повнофункціональний відеоредактор, що працює в браузері. За допомогою WebGPU та WebCodecs такий додаток може надавати попередній перегляд редагувань у реальному часі, миттєво застосовувати складні фільтри або переходи за допомогою шейдерів GPU та експортувати готове відео — і все це без підтримки сервера. Це може демократизувати редагування відео, зробивши його доступним на будь-якому пристрої з сучасним браузером без необхідності встановлення.</li><li><strong>Інтерактивна пряма трансляція</strong>: Платформи прямої трансляції можуть вийти за межі пасивного відео. За допомогою WebGPU стример (або платформа) може вбудовувати в трансляцію графіку та статистику в режимі реального часу, локально видаляти зелений фон або навіть інтегрувати взаємодію з глядачами (наприклад, показувати результати опитувань в прямому ефірі або анімацію, що запускається в чаті), що відображаються за допомогою GPU. Оскільки WebCodecs забезпечує доступ до кадрів і кодування з низькою затримкою, браузер стримера може обробляти змішування цих джерел і створювати єдиний кодований потік для відправки — ефективно виконуючи роботу нативного програмного забезпечення для трансляції, такого як OBS, але в веб-додатку.</li><li><strong>Медіа-досвід, покращений за допомогою AI</strong>: Усі види медіа-додатків можуть інтегрувати покращення AI на льоту. Наприклад, веб-редактор фотографій може включати «AI auto-tune», який одним кліком аналізує та покращує фотографію за допомогою моделі, що виконується локально за допомогою WebGPU. Відеоплеєри можуть пропонувати генерацію субтитрів на льоту або переклад за допомогою AI-моделей (більше не потрібно чекати, поки автор контенту надасть субтитри). Освітні відео можуть мати інтегрований AI, який відповідає на питання або генерує вікторини про вміст відео. Веб-додатки доповненої реальності (AR) можуть використовувати ШІ для розпізнавання об’єктів або середовищ у камері та накладання інформації без необхідності використання API хмарного зору.</li><li><strong>Співпраця та розвантаження хмари</strong>: Парадоксально, але надання більшої потужності клієнту також може покращити хмарні додатки. Завдяки потужній обробці на стороні клієнта ми можемо побачити архітектури, в яких важкі завдання розділяються: браузер користувача виконує обробку з прискоренням GPU на локальних даних, а хмарні служби координують і додають менш ресурсомісткі операції. Наприклад, хмарна ігрова служба може потенційно використовувати графічний процесор клієнта для виконання деяких простих прогнозів або обробки вхідних даних, зменшуючи затримку. Або інструмент для спільної розробки може дозволити кожному клієнту виконувати аналіз ШІ на своїй частині проекту, а потім ділитися результатами через канали даних WebRTC, зберігаючи необроблені дані локально, а висновки — глобально.</li></ul><p>Отже, інтеграція WebGPU в усі основні платформи, увінчана прийняттям iOS 26, та її поєднання з API, такими як WebCodecs, і бібліотеками, такими як Transformers.js і TypeGPU, є <strong>значним кроком вперед для веб-технологій</strong>. Ми є свідками еволюції браузера в платформу, здатну виконувати високопродуктивні обчислювальні завдання, які раніше були доступні лише для нативних додатків або потужних серверів. Ця еволюція не тільки розширює можливості існуючих веб-додатків, але й <strong>демократизує доступ до передових інструментів</strong>: будь-хто, хто має браузер, може використовувати обчислення на GPU, штучний інтелект і обробку мультимедіа без спеціального обладнання або встановлення програмного забезпечення.</p><p>Веб-спільнота швидко розвивається на основі цих можливостей. Як розробники, ми тепер маємо інструменти для створення нового класу веб-додатків, які є одночасно потужними та доступними. Для користувачів це означає зручність веб-технологій (миттєвий доступ, відсутність необхідності встановлення, доступність на різних пристроях) у поєднанні з потужністю та багатством нативних можливостей. Всі елементи пазлу — WebGPU, WebCodecs, штучний інтелект на пристроях та фреймворки взаємодії — нарешті склалися в єдине ціле, <strong>проклавши шлях для інноваційних цифрових можливостей</strong>, які визначать наступну еру веб-технологій.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=da18f7c913f0" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>