<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by MetAI 宇見智能科技 on Medium]]></title>
        <description><![CDATA[Stories by MetAI 宇見智能科技 on Medium]]></description>
        <link>https://medium.com/@metai?source=rss-b6674c9aa7d3------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*Z-aRf-8ZR9hsmDEaEP06iQ.png</url>
            <title>Stories by MetAI 宇見智能科技 on Medium</title>
            <link>https://medium.com/@metai?source=rss-b6674c9aa7d3------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Fri, 20 Nov 2026 19:24:34 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@metai/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Accelerate Smart Manufacturing with Digital Twins and Synthetic Data]]></title>
            <link>https://metai.medium.com/accelerate-smart-manufacturing-with-digital-twins-and-synthetic-data-62222e098f37?source=rss-b6674c9aa7d3------2</link>
            <guid isPermaLink="false">https://medium.com/p/62222e098f37</guid>
            <category><![CDATA[digital-twin]]></category>
            <category><![CDATA[synthetic-data]]></category>
            <category><![CDATA[digital-transformation]]></category>
            <category><![CDATA[synthetic-data-generation]]></category>
            <category><![CDATA[smart-manufacturing]]></category>
            <dc:creator><![CDATA[MetAI 宇見智能科技]]></dc:creator>
            <pubDate>Tue, 04 Apr 2023 11:34:08 GMT</pubDate>
            <atom:updated>2023-04-04T11:34:08.384Z</atom:updated>
            <content:encoded><![CDATA[<p>With the integration of Digital Twins and Synthetic Data, MetAI successfully helps enterprises quickly implement smart manufacturing applications, reducing AI project development time by 70% with high model accuracy for metal manufacturers.</p><blockquote>MetAI’s unique Digital Twin and Synthetic Data services have successfully overcome the data bottleneck of most AI projects, making data no longer a stumbling block for companies’ digital transformation!</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*Pf5jSG0QyIYH0qi0.jpg" /></figure><p>This real case study of industrial transformation involves a metal product manufacturer based in Taiwan for several decades, which is renowned in Taiwan and has been commended by the Ministry of Economic Affairs for its outstanding performance. It specializes in producing steel pipes and metal bars.</p><p>Due to years of deep cultivation in the market, the company has a global reputation with its orders from not only Taiwanese clients but also from lots of internationally renowned machinery manufacturers. The demand for its products, while already large, has still been steadily growing. However, with increasing demand and full manual labor on the production line, the problem of orders exceeding production capacity has remained unresolved.</p><p>In order to overcome this bottleneck, the company began to explore digital transformation solutions, hoping to start with the quality control (QC) process, which is the most labor-intensive process on the production line, to improve production line efficiency. This is where MetAI can shine.</p><h3><strong>No Data, No Digital Transformation.</strong></h3><p>The customer had been exploring various defect detection solutions in the market for over two years. While solutions with contact sensors could potentially damage the products, non-contact visual inspection systems should be the ideal solution they needed. However, after trying various visual solutions, they were forced to abandon those due to various difficulties:</p><ul><li>Traditional AOI solutions could not meet the customer’s quality management requirements.</li><li>AI-based vision solutions required sufficient data to drive them.</li><li>The customer had difficulty allocating extra manpower to collect defect samples.</li><li>Not all samples could be obtained due to quality management standards.</li><li>Different types of sample data were generated at different frequencies.</li></ul><p>One of the biggest challenges in digital transformation is the data problem. Many enterprises lack sufficient and high-quality data to train and support AI models. Additionally, collecting and labeling data requires a lot of manpower and time, which may be an unaffordable cost for some businesses. Therefore, solving the data problem is the main challenge that enterprises using AI technology face.</p><h3><strong>MetAI — Making Data no longer a Stumbling Block for Digital Transformation.</strong></h3><p>The majority of the customer’s challenges lie in “insufficient data” or “poor data quality,” but few system vendors can provide effective means to solve data issues. To overcome the digital transformation dilemma of data, MetAI’s in-house developed “Data Synthesizer”, while being capable of providing countless “synthesized data”, would be the most suitable solution for the current situation. Therefore, after the second meeting, the customer chose the solution provided by MetAI.</p><p>Synthetic Data is data generated by computer simulation or algorithms that contain annotated information to replace real environment data. In other words, Synthetic Data is created in a digital environment, not data collected or measured in a real environment.</p><p>Over the past five months, MetAI has assisted the customer in the following:</p><ul><li>Designing the optical structure of the defect detection system</li><li>Establishing a Digital Twin and generating Synthetic Data</li><li>Training the defect detection AI model</li></ul><h3><strong>Designing the Optical Structure of the Defect Detection System</strong></h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*afskEqMw9JR-Jzlfx-MVug.png" /><figcaption>Optical structure design of machine vision</figcaption></figure><p>The customer previously relied on manual labor for metal pipes defect identification, which has long been inefficient for their needs. If automatic optical inspection (AOI) is used for character recognition, the curved surface of the stainless steel tube can cause reflections that make defects difficult to see. Additionally, factors such as dust and fingerprints can lead to misidentification of defects, making identification challenging whether done manually or with automatic optical inspection.</p><p>MetAI leverages its expertise in the machine vision industry to design an optical structure that enhances the visual features of the bar. The AI visual model, trained for this purpose, can accurately identify various types of defects on the bar.</p><h3><strong>Creating Digital Twins and Generating Synthetic Data</strong></h3><p><strong>Unlock AI applications: Allow companies without sufficient data to import AI technology!</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*jRFVEu01lwSFcfb6R_W2dA.png" /><figcaption>Synthetic Data shortens data collection time</figcaption></figure><p>Small amounts of data normally fails to guarantee the generalization of accurate AI models. We estimated that it would take our client 14 months to obtain sufficient data.</p><p>However, we provided a unique solution in the market: using Digital Twins and Synthetic Data to quickly generate a large amount of training data, enabling rapid implementation of AI applications. By introducing this solution, we were able to significantly reduce the time and cost of data collection by nearly 70% during the originally estimated 14-month project period.</p><h3><strong>Generating an Unlimited Amount of 3D Data</strong></h3><p>MetAI’s Synthetic Data solution is based on a self-developed 3D Synthetic Data tool, which we call “Data Synthesizer”. This tool is easy to manage and expand, and can generate an infinite amount of randomized data.</p><p>Using 3D and physical simulation to generate Synthetic Data has the following advantages:</p><ol><li>Realism: Based on real-world environments and physical laws, the data generated is the closest to reality, allowing AI models to better understand the shape, texture, and physical characteristics of objects.</li><li>Controllability: In the 3D and physical models, developers can precisely control the training process and physical features of the data.</li><li>Credibility: Based on real-world physical environments and rules, the credibility of the generated data is higher.</li><li>Scalability: It is free and convenient to expand the types and quantities of data to obtain a more comprehensive and diverse dataset.</li></ol><p>By analyzing real metal bar samples, MetAI extracted the visual features of the samples and various types of defects, and built a random metal bar sample generator with defects, which can generate an unlimited number of unique 3D metal bar samples.</p><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fgiphy.com%2Fembed%2FfFqlaxSlHdOpypgrOo%2Ftwitter%2Fiframe&amp;display_name=Giphy&amp;url=https%3A%2F%2Fmedia.giphy.com%2Fmedia%2Fv1.Y2lkPTc5MGI3NjExZDZkMmI4YmI0NGU3YzgyOTI0YTA3MDk4YjMxZmE1MThlY2Y2ZTdhZCZjdD1n%2FfFqlaxSlHdOpypgrOo%2Fgiphy-downsized-large.gif&amp;image=https%3A%2F%2Fi.giphy.com%2Fmedia%2FfFqlaxSlHdOpypgrOo%2Fgiphy-downsized-large.gif&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=giphy" width="435" height="253" frameborder="0" scrolling="no"><a href="https://medium.com/media/b6ee2dfd2df509bbbf92d4fded16f70c/href">https://medium.com/media/b6ee2dfd2df509bbbf92d4fded16f70c/href</a></iframe><p>MetAI then created a Digital Twin of the optical structure with physical conditions similar to the real target, such as spatial relationships and environmental lighting, which enabled the generation of sampling data similar to the real optical structure.</p><p>Finally, using the ray tracing rendering technology of the NVIDIA Omniverse simulation engine, MetAI generated thousands of images that closely resemble real samples, effectively solving the biggest pain point in digital transformation for customers, “insufficient data.”</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*K6VrjKA9vfnJ00gO30nJbg.png" /><figcaption>Left: Real data | Right: Synthetic data</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*VJjQu5M_X0CNkEGMHwnQhQ.png" /><figcaption>Comparison of flaws between real data and Synthetic data</figcaption></figure><h3><strong>Saving Hundreds of Hours of Data Annotation Labor with Over 100 Times the Annotation Speed</strong></h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*gy4qEJJvq--cmYocZESRyw.png" /><figcaption>Data labeling efficiency comparison in this case</figcaption></figure><p>MetAI’s 3D Data Synthesizer not only generates a massive amount of AI training data but also automates the data labeling process. In this case, two different visual models need to be trained with labeled training data: Semantic Segmentation and Object Detection.</p><p>The labeling task for Semantic Segmentation requires labeling each pixel by our data scientist, and is one of the most time-consuming tasks while gathering data. In this metal pipe case, manual labeling takes an average of 7 minutes per image, even with machine learning tools to assist during the process, it still takes 3 minutes per image for labeling. With Synthetic Data solution, it only takes 5 seconds to generate each image automatically, and 1 second to label each accordingly. In other words, automated labeling achieves an efficiency of 0.01 minutes per image, which is 200 and 400 times more efficient than manual and ML-assisted labeling, respectively.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/480/1*XrCq4UUDyDvXRvQtlTRCaA.gif" /><figcaption>Semantic Segmentation labels are time-consuming</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/480/1*ESmo8EDPvmaSJDHmnbJETA.gif" /><figcaption>Synthetic data automatically generates tags in just a moment (where the screen flashes)</figcaption></figure><h3><strong>Training a More Reliable Vision-Based AI Model for Defect Detection</strong></h3><p>In just 4.5 months, MetAI successfully assisted the metal pipe manufacturer in generating data and training AI computer vision technology that meets their quality management requirements.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*Vc4GTRwVxJ_XnDsE" /><figcaption>Object detection model for detecting blemishes</figcaption></figure><p>Thanks to MetAI’s unique Data Synthesizer to create unlimited Synthetic Data, the effectiveness of the AI models was significantly improved, with the metal defect detection indicator (average absolute percentage error) increasing by over 28%.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*66-ncQ0TdBbWIeWnUUpbRQ.png" /><figcaption>Improving AI model accuracy with digitally generated data</figcaption></figure><h3>MetAI saved 70% on data collection costs and provided a more reliable model for easier AI implementation!</h3><p>The customer in this digital transformation case study had tried various solutions to solve their manual defect detection problems, but struggled with a lack of data that hindered their transformation efforts. MetAI’s Digital Twin and Dynthetic Data services effectively overcame the data scarcity challenge, helping the enterprise reduce data collection costs by 70% and accelerate AI application deployment.</p><p>This industrial transformation case demonstrates that digital transformation is not as difficult as imagined, as long as the right solutions are implemented. If you are also struggling with a lack of data and cannot smoothly carry out digital transformation, please feel free to contact us!</p><p>-<br>MetAI | MetAI Technology Co., Ltd. | <a href="http://www.met-ai.net/">www.met-ai.net</a><br>Turning AI into a Companion We Met.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=62222e098f37" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[傳產轉型案例：如何讓 AI 落地不再是難事？看 MetAI 如何幫助企業降低 70% 的 AI 專案開發時程]]></title>
            <link>https://metai.medium.com/%E5%82%B3%E7%94%A2%E8%BD%89%E5%9E%8B%E6%A1%88%E4%BE%8B-%E5%A6%82%E4%BD%95%E8%AE%93-ai-%E8%90%BD%E5%9C%B0%E4%B8%8D%E5%86%8D%E6%98%AF%E9%9B%A3%E4%BA%8B-%E7%9C%8B-metai-%E5%A6%82%E4%BD%95%E5%B9%AB%E5%8A%A9%E4%BC%81%E6%A5%AD%E9%99%8D%E4%BD%8E-70-%E7%9A%84-ai-%E5%B0%88%E6%A1%88%E9%96%8B%E7%99%BC%E6%99%82%E7%A8%8B-b3ad4a40d88f?source=rss-b6674c9aa7d3------2</link>
            <guid isPermaLink="false">https://medium.com/p/b3ad4a40d88f</guid>
            <dc:creator><![CDATA[MetAI 宇見智能科技]]></dc:creator>
            <pubDate>Sun, 12 Mar 2023 11:55:12 GMT</pubDate>
            <atom:updated>2023-03-12T11:55:12.837Z</atom:updated>
            <content:encoded><![CDATA[<p>數位孿生與合成資料助攻企業，讓智慧製造應用快速落地</p><blockquote>MetAI 以獨有的數位孿生與合成資料服務，成功突破大多數 AI 專案的資料瓶頸，讓資料不再是企業數位轉型的絆腳石！</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*Pf5jSG0QyIYH0qi0.jpg" /></figure><p>本傳產轉型案例為金屬製品製造客戶、立足於台灣數十年；是經濟部長年以來表揚的績優之中小企業，專門生產鋼管與金屬棒材。</p><p>由於在市場深耕多年，客戶除了來自台灣本土以外，更有多間國際間知名機械大廠，產品的需求穩定成長。但是隨著需求的增加、產線人工滿載，訂單遠大於產能的問題始終無法獲得解決。</p><p>為了突破此問題，客戶開始探詢數位轉型方案，希望從產品線上最耗費人力的產品品質管理（Quality Control, QC）的流程著手，能夠實現產線效率的提升。</p><h3>沒有資料就不談數位轉型</h3><p>客戶在兩年多前，就持續探詢市場上的各種瑕疵檢測解決方案；接觸式的傳感器可能造成產品的損傷，因此非接觸式的視覺系統便成了最理想的方案。</p><p>然而在嘗試過各種視覺解決方案，卻因各種難點而被迫放棄：</p><ol><li><strong>傳統 AOI 無法滿足客戶對品質管理的要求</strong></li><li><strong>AI 的 vision-based 方案固然強大，仍需充足的資料驅動</strong></li><li><strong>客戶難以騰出多餘人力專司採集瑕疵樣本資料</strong></li><li><strong>因品質管理標準，並非所有樣本都能取得</strong></li><li><strong>各類型樣本資料產生的頻率不一</strong></li></ol><p>數位轉型一個最大的困難就是資料問題。許多企業無法擁有足夠數量且高品質的資料來訓練和支援 AI 模型。另外，收集和標註資料需要大量的人力和時間，對於一些企業來說，這可能是不可承受的成本。因此，如何解決資料問題是使用 AI 技術的企業面臨的主要挑戰。</p><h3>MetAI - 讓資料不再是數位轉型的絆腳石</h3><p>客戶大部分的難點在於「資料不足」或「資料品質不佳」，然而鮮少有系統商能夠提供解決資料議題的有效手段。而要突破資料數位轉型的困境，MetAI 獨有的「合成資料」技術是最符合現況的解決方案。因此在二次會議後，客戶便選擇了 MetAI 所提供的解決方案。</p><blockquote><strong>合成資料</strong>是以電腦模擬或演算法產生出且含有註釋資訊的合成資料，用來取代真實環境資料。也就是說，是在數位環境中建立合成資料，並非在現實環境中收集或測量的資料。</blockquote><h4>在這 5 個月的時間裡，MetAI 協助客戶做了以下幾件事：</h4><ol><li><strong>設計瑕疵檢測系統之光學結構</strong></li><li><strong>建立數位孿生、生成合成資料</strong></li><li><strong>訓練瑕疵檢測 AI 模型</strong></li></ol><h3>1. 設計瑕疵檢測系統之光學結構</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*afskEqMw9JR-Jzlfx-MVug.png" /><figcaption>機器視覺之光學結構設計</figcaption></figure><p>客戶目前仍採用人力進行金屬棒材產品的瑕疵辨識，依賴人工但效率低，若使用<strong>自動光學辨識 AOI</strong> 進行字元辨識，因不鏽鋼管表面為圓弧曲面，打光容易造成反射而使瑕疵不易看清，更因為灰塵、指紋…等等因素，以至於上述情形被錯認為瑕疵，不論以人工或者自動光學檢測的辨識皆較為困難。</p><p>MetAI 以專業的機器視覺產業經驗設計光學結構，以增強棒材上的視覺特徵。經過訓練的 AI 視覺模型，能夠非常準確地識別棒材上的各類瑕疵類型。</p><h3>2. <strong>建立數位孿生、生成合成資料</strong></h3><h4>解鎖 AI 應用：讓沒有足夠資料的企業也能導入 AI 技術！</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*CoSxtWxNVccJbugrtAeykQ.png" /><figcaption>合成資料縮短資料採集時間</figcaption></figure><p>少量資料難以保證 AI 模型的通用性，我們評估客戶需要花費 14 個月才能獲得足夠的資料。但是，我們提供了一種市場上獨有的解決方案：使用數位孿生和合成資料，快速產生大量的訓練資料，使 AI 應用得以快速落地。</p><p>原本評估為 14 個月的專案期間，通過了此解決方案的引入，令資料蒐集的時間成本大幅節省將近 70%。</p><h4>產生無數量限制的 3D 資料</h4><p>MetAI 的合成資料解決方案基於自主開發的 3D 合成資料工具。這個工具方便管理並且易於擴展，可以生成無限數量的隨機資料。</p><p>使用 3D 與物理模擬產生合成資料有以下優點：</p><ol><li><strong>真實性：根據真實環境和物理規律，模擬出最貼近真實的數據，讓 AI 模型能更好理解物體的形狀、紋理集物理特徵。</strong></li><li><strong>可控性：在 3D 和物理模型中，開發者可以精準掌握模型的訓練過程和資料的物理特徵。</strong></li><li><strong>可信性：基於真實的物理環境和物理規則，其可信性更高。</strong></li><li><strong>擴充性：自由且方便擴充其資料的種類和數量，以獲得更全面且豐富的資料集。</strong></li></ol><p>通過對真實金屬棒材樣本資料的分析，MetAI 提取了樣本和各種類別瑕疵的視覺特徵，建立了一個帶有瑕疵的隨機金屬棒材樣本產生器，能夠無限生成完全不重複的 3D 金屬棒材隨機樣本。</p><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fgiphy.com%2Fembed%2FfFqlaxSlHdOpypgrOo%2Ftwitter%2Fiframe&amp;display_name=Giphy&amp;url=https%3A%2F%2Fmedia.giphy.com%2Fmedia%2Fv1.Y2lkPTc5MGI3NjExZDZkMmI4YmI0NGU3YzgyOTI0YTA3MDk4YjMxZmE1MThlY2Y2ZTdhZCZjdD1n%2FfFqlaxSlHdOpypgrOo%2Fgiphy-downsized-large.gif&amp;image=https%3A%2F%2Fi.giphy.com%2Fmedia%2FfFqlaxSlHdOpypgrOo%2Fgiphy-downsized-large.gif&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=giphy" width="435" height="253" frameborder="0" scrolling="no"><a href="https://medium.com/media/b6ee2dfd2df509bbbf92d4fded16f70c/href">https://medium.com/media/b6ee2dfd2df509bbbf92d4fded16f70c/href</a></iframe><p>接著，MetAI 建立了光學結構的數位孿生，此數位孿生有與真實目標相近的物理條件，如：空間關係、環境光源…等等，因此能夠產生與真實光學結構相近的取樣資料。</p><p>最後透過模擬引擎 NVIDIA Omniverse 的光線追蹤渲染技術，MetAI 產生出成上千張貼近真實樣本的圖片資料；客戶與數位轉型的最大痛點「資料不足」也因此順利被解決。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*K6VrjKA9vfnJ00gO30nJbg.png" /><figcaption>左<strong>：</strong>真實樣本資料 | 右<strong>：</strong>合成資料</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*VJjQu5M_X0CNkEGMHwnQhQ.png" /><figcaption>真實樣本與合成資料之瑕疵比對</figcaption></figure><h4>節省數百小時的資料標註人力，百倍以上的資料標註速度</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*8xFlClHvj02n1n8WtuyZNA.png" /><figcaption>此案例中之資料標註效率比對</figcaption></figure><p>MetAI 的 3D 合成資料工具在產生龐大的 AI 訓練資料之餘，也同時將資料標籤的流程自動化。以本案例的情形，需要針對兩種不同的視覺模型進行訓練資料的標籤：</p><ol><li><strong>語意分割</strong>（<strong>Semantic Segmentation</strong>）</li><li><strong>物件偵測</strong>（<strong>Object Detection</strong>）</li></ol><p>其中語意分割的標籤任務需要對每一個像素進行標籤、最花費時間。在此產業案例中，純人工的標註平均為 7 分鐘/ 1 張，ML 輔助標註為 3 分鐘/ 1 張。使用合成資料自動化產生標籤的效率則為 0.01 分鐘 / 一張，效率相較於人工與 ML 輔助，分別提升了 <strong>200</strong> 與 <strong>400</strong> 倍之多。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/480/1*XrCq4UUDyDvXRvQtlTRCaA.gif" /><figcaption>語意分割標籤曠日廢時</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/480/1*ESmo8EDPvmaSJDHmnbJETA.gif" /><figcaption>合成資料自動化產生標籤僅在一瞬間（畫面閃動處）</figcaption></figure><h3>3. <strong>訓練瑕疵檢測 AI 模型：</strong>更可靠的視覺方案</h3><p>MetAI 在短短 4.5 個月內成功協助製造業者產生資料、訓練出符合製造業者對品質管理的要求的 AI 電腦視覺技術。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*Vc4GTRwVxJ_XnDsE" /><figcaption>物件偵測模型用於檢測瑕疵</figcaption></figure><p>得益于 MetAI 獨特的合成資料技術，AI 模型的成效顯著的提升，檢測金屬瑕疵的指標（平均絕對百分比誤差）提升了 28% 以上。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*pPtDagI-WXNec-lw5auXVg.png" /><figcaption>藉由數位生成資料來提升 AI 模型準確度</figcaption></figure><h3>MetAI 節省 70% 的資料蒐集成本，卻有更可靠的模型，AI 應用落地不再是難事！</h3><p>這篇傳產數位轉型案例的客戶，曾嘗試過各種方案來解決人力瑕疵檢測問題，但苦於資料不足的問題而無法順利進行轉型。</p><p>MetAI 的數位孿生與合成資料服務，能有效克服資料不足的難題，幫助企業降低 70% 的資料蒐集成本、加速 AI 應用落地。</p><p>這篇傳產轉型案例說明，數位轉型並非想像中的困難，只需要適當的解決方案。如果您也正苦於缺少資料而無法順利進行數位轉型，歡迎與我們聯繫！</p><p>-<br>MetAI | 宇見智能科技有限公司 | <a href="http://www.met-ai.net/">www.met-ai.net</a><br>讓我們輕易遇見 AI．輕鬆預見智慧製造</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=b3ad4a40d88f" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[用 Python 實作一個能開口與你說話的虛擬人 語音辨識 | 自然語言處理 | 語音合成 | 數位替身 | Omniverse Audio2Face | 元宇宙 | part-1]]></title>
            <link>https://metai.medium.com/%E7%94%A8-python-%E5%AF%A6%E4%BD%9C%E4%B8%80%E5%80%8B%E8%83%BD%E9%96%8B%E5%8F%A3%E8%88%87%E4%BD%A0%E8%AA%AA%E8%A9%B1%E7%9A%84%E8%99%9B%E6%93%AC%E4%BA%BA-%E8%AA%9E%E9%9F%B3%E8%BE%A8%E8%AD%98-%E8%87%AA%E7%84%B6%E8%AA%9E%E8%A8%80%E8%99%95%E7%90%86-%E8%AA%9E%E9%9F%B3%E5%90%88%E6%88%90-%E6%95%B8%E4%BD%8D%E6%9B%BF%E8%BA%AB-omniverse-audio2face-%E5%85%83%E5%AE%87%E5%AE%99-part-1-7ab7bf1e4823?source=rss-b6674c9aa7d3------2</link>
            <guid isPermaLink="false">https://medium.com/p/7ab7bf1e4823</guid>
            <dc:creator><![CDATA[MetAI 宇見智能科技]]></dc:creator>
            <pubDate>Tue, 10 May 2022 14:11:19 GMT</pubDate>
            <atom:updated>2022-05-10T14:11:19.275Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/700/0*GVNeFfMKHHsXxbDh.jpg" /><figcaption>圖一：GTC 2022 上所展示的虛擬人</figcaption></figure><p>智慧助理、聊天機器人是模擬並處理人類對話的電腦程式，能讓人類與數位服務互動，就好像在螢幕後面有一個看不見的真人在與我們互動。</p><p>正在興起的技術「<strong>虛擬人</strong>」，則顧名思義是試圖創造一個擁有所有人類特徵、能與人互動的虛擬角色，可說是新世代的智慧助理、聊天機器人。甚至，未來的元宇宙世界中的 NPC 角色，也將會是虛擬人的重點應用情境。</p><h3>什麼是虛擬人？</h3><p><strong>來自 </strong><a href="https://www2.deloitte.com/nl/nl/pages/customer-and-marketing/articles/digital-human.html">deloitte</a> 的觀點，<strong>虛擬人</strong>是由人工智慧所驅動，它可以理解客戶的需求，並且做出相應的回應。虛擬人的特點如下：</p><ul><li>由人工智慧驅動、有著人類的外觀，能夠與人類進行對話</li><li>虛擬人的核心反饋系統可以輕易代換 (例如： 聊天機器人、自然語言模型…等等)</li><li>可使用語言和非語言進行互動 （肢體動作、語氣、面部表情…等等）</li></ul><h3>內容概述</h3><p>我們將展示如何實作一個簡易的虛擬人，它能夠聽取你的語音，理解語意，並且做出回應（語言、語音、臉部表情）。效果請見下方影片：</p><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fwww.youtube.com%2Fembed%2FO60Pfxp2_SA%3Ffeature%3Doembed&amp;display_name=YouTube&amp;url=https%3A%2F%2Fwww.youtube.com%2Fwatch%3Fv%3DO60Pfxp2_SA&amp;image=https%3A%2F%2Fi.ytimg.com%2Fvi%2FO60Pfxp2_SA%2Fhqdefault.jpg&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=youtube" width="854" height="480" frameborder="0" scrolling="no"><a href="https://medium.com/media/a42581dbddcc80c3e5dc940f07e7033e/href">https://medium.com/media/a42581dbddcc80c3e5dc940f07e7033e/href</a></iframe><p><a href="https://youtube.com/shorts/G_c94cGIKgs">Avatar 知識集 demo</a></p><h3>目錄</h3><ul><li>虛擬人之架構與運作原理</li><li>軟、硬體需求</li><li>如何實作：語音辨識（英語：<strong>A</strong>utomatic <strong>S</strong>peech <strong>R</strong>ecognition, <strong>ASR</strong>）</li><li>如何實作：語意理解（Sentence Transformer &amp; Faiss）</li><li>如何實作：語音合成（Text To Speech）</li><li>如何實作：語音驅動的虛擬人物行為（<strong>Omniverse Audio2face</strong>）</li><li>馬上試試：虛擬人 Github repo</li></ul><h3>虛擬人之架構與運作原理</h3><p>虛擬人的組成架構由 Conversational AI 以及電腦繪圖技術所構成，包含：</p><ul><li>語音辨識（英語：<strong>A</strong>utomatic <strong>S</strong>peech <strong>R</strong>ecognition, <strong>ASR</strong>）</li><li>語言模型（英語：Language Model）</li><li>合成語音（英語：<strong>T</strong>ext<strong> T</strong>o<strong> S</strong>peech, <strong>TTS</strong>）</li><li>語音驅動的虛擬人物行為（臉部表情、肢體動作）</li><li>3D 渲染引擎</li></ul><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fwww.youtube.com%2Fembed%2F6HGVdTb_uRY%3Ffeature%3Doembed&amp;display_name=YouTube&amp;url=https%3A%2F%2Fwww.youtube.com%2Fwatch%3Fv%3D6HGVdTb_uRY&amp;image=https%3A%2F%2Fi.ytimg.com%2Fvi%2F6HGVdTb_uRY%2Fhqdefault.jpg&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=youtube" width="854" height="480" frameborder="0" scrolling="no"><a href="https://medium.com/media/6f7c4bd0580983b2f5a9162c768fa23f/href">https://medium.com/media/6f7c4bd0580983b2f5a9162c768fa23f/href</a></iframe><p>我們藉由 GTC 2022 所展示的虛擬人了解其框架，但展示的虛擬人所需運算資源過高，因此我們將會省略部分架構來進行實作（僅建立虛擬人的頭部作為與使用者互動的對象）。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/690/0*CzsLz3JCXsHzKs6R.jpeg" /><figcaption>圖二：簡易虛擬人架構圖</figcaption></figure><h3>軟、硬體需求</h3><p>進行實作前，請確保具備<strong>最基本的系統需求</strong>：</p><ul><li><strong>CPU</strong>: Intel Core i7 (7th Generation) AMD Ryzen 5</li><li><strong>RAM</strong>: 16 GB or higher</li><li><strong>OS</strong>: Windows 10 or 11 (64-bit version only)</li><li><strong>GPU</strong>: Any NVIDIA GeForce RTX GPU</li><li><strong>FREE DISK SPACE</strong>: 50 GB</li></ul><h3>如何實作：語音辨識（英語：Automatic Speech Recognition, ASR）</h3><p>由於簡單易用的關係，我們使用 Python 的 <a href="https://pypi.org/project/SpeechRecognition/">speech_recognition 套件</a>，使用電腦的語音裝置作為輸入、將使用者的問句轉化為文字。</p><h3>如何實作：語意理解（Sentence Transformer &amp; Faiss）</h3><p>在 GTC 2022 會議上亮相的 NVIDIA CEO 黃仁勳本人的數位替身，使用大型自然語言模型 Megatron 530B，雖然能夠進行通用的自然語言任務，但是需要使用大量的分散式計算資源。</p><p>上述的作法礙於計算資源在一般情況難以實現，因此我們將使用其他作法，透過將使用者的問題語句轉換為<strong>句向量</strong>，在特定的<strong>問答資料集</strong>中<strong>搜尋類似問題語句</strong>，並且將該問題語句對應的答案作為對使用者的回答。</p><h4>問答資料集介紹</h4><p>我們將使用 <a href="https://github.com/zake7749/Gossiping-Chinese-Corpus">PTT 中文語料</a> 作為問答資料集，因為其收錄多達 3 年的 PTT 八卦版文章與回文，一共包含了 774,114 筆問答對應，有著五花八門的問題。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*cQ-d96W9XCLiaupkurZuPA.png" /><figcaption>圖三：由 <a href="https://github.com/zake7749">zake7749</a> 所開源的 PTT 八卦版中文語料</figcaption></figure><h4>使用 Sentence-Transformers 做句向量轉換</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*Br5Uh47YNVhn_I0q.png" /><figcaption>圖四：Python 套件 Sentence-Transformers</figcaption></figure><p>SentenceTransformers 是基於論文 Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks 的 Python package，可以產生 100 多種語言的詞向量、句向量，對於語義文本相似性、語義搜索等任務很有用。</p><p>我們使用名為 <strong>distilroberta-base-paraphrase-v1</strong>的 <strong>Pretrained Model，</strong>該模型訓練於 50 多種語言（包含中文）、數百萬筆語句資料之上。我們將此預訓練模型做為特徵提取器，將問答資料集當中的所有<strong>問題</strong>語句編碼為<strong>句向量，得到的結果是一個 70 萬餘筆長度為 768 的句向量（numpy array）</strong>。</p><h4>使用 Faiss 做問題檢索</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*Q8FR-AQkbrEKoCv2" /><figcaption>圖五：Python 套件 AI 相似度搜尋（Facebook AI Similarity Search）</figcaption></figure><p>Faiss 的全名是 AI 相似度搜尋（Facebook AI Similarity Search），是 Facebook 的 AI 團隊針對相似度搜尋問題開發的一個工具。</p><p>它的出色之處在於搜尋效率非常快，在 200,000 個長度為 768 的句向量中進行搜尋只需要 0.05 秒；用在本實作的問題語句檢索任務有很好的效率。</p><p>透過 SentenceTransformers 將使用者的輸入轉化為句向量，再透過 Faiss 從問題語句的句向量中找出最相似的幾組語意，隨機使用對應的回答作為答案，一個 QA 虛擬人的簡易語言功能就完成了。</p><h3>如何實作：語音合成（Text To Speech）</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*2NxN6YPcEGz3y5zNEZjufQ.png" /><figcaption>圖六：Python 套件 gTTS (<strong>G</strong>oogle <strong>T</strong>ext <strong>T</strong>o <strong>S</strong>peech)</figcaption></figure><p>當使用者輸入的問題檢索完成，產生對應的文字回答，我們便使用 Gtts 來進行語音的生成，並且將 Gtts 語音生成的結果保存為音訊檔案。<strong>保存的音訊檔案將會用於驅動與模擬聊天機器人開口說話時的臉部動態。</strong></p><h3>如何實作：語音合成（Text To Speech）</h3><h4>Omniverse Audio2Face — 驅動虛擬人的基石</h4><p>到目前為止，我們已經順利地完成傳統聊天機器人的大部分的環節，最後一個步驟就是將合成語音的結果送進 Omniverse Audio2Face 產生 3D 人物的臉部表情與嘴型。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/850/0*Xuw051jX6ZCzO1Rz.jpg" /><figcaption>圖七：Omniverse Audio2Face</figcaption></figure><p>Omniverse 是 NVIDIA 近年傾盡全力開發的軟體，用於即時真實模擬以及 3D 創作。Omniverse 包含了許多創造元宇宙應用的工具，而被稱為第一個元宇宙協作平台。Omniverse audio2face 則是 Omniverse 的其中一個應用，用途為使用語音模擬、產生 3D 人物的臉部、嘴形變化；這也是具象化的聊天機器人得以實現的最重要環節。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/611/0*Ptbzb4oBtO7nVT0K.jpg" /><figcaption>圖八：GTC 2021 會議中的數位黃仁勳是透過 Omniverse audio2face 製作</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/900/0*ZR5xWv8FLDErn7nJ.gif" /><figcaption>圖九：Omniverse audio2face 與 face vid2vid 產生的數位黃仁勳</figcaption></figure><p>任何人都能夠免費下載使用 Omnivere，條件是使用者的電腦須具備一張 RTX 顯示卡，因為 Omniverse 當中的所有應用程式與 AI 工具的運行都會使用 RTX 系列的顯示卡運算。</p><h4>安裝 Omniverse Launcher</h4><p>要下載使用 Audio2Face，首先需要下載及<a href="https://www.youtube.com/watch?v=1DzNyzX9uL4&amp;ab_channel=%E9%BA%97%E8%87%BA%E7%A7%91%E6%8A%80">安裝 NVIDIA Omniverse Launcher</a>。待安裝完成之後、啟動 Omniverse Launcher，即可在 EXCHANGE 介面下找到 Audio2Face 以及其他的應用程式。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*c-Dl_G636hEwKPcWC9guTg.png" /><figcaption>圖十一：Omniverse Launcher 中包含各式各樣可免費下載的應用程式</figcaption></figure><p>每一個應用程式都對應到特殊的用途，如：ISAAC SIM 是 GPU 加速的機器人框架、Kaolin 是 PyTorch 函式庫及可視化工具的結合，以簡化並加速 3D 深度學習研究、Audio2Face 是由人工智慧驅動，僅透過音訊即可生成有豐富表情的臉部動畫…等等。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ZSmG5MoAXBJbuHJmWFGJqg.png" /><figcaption>圖十二：Omniverse 富含許多面向開發者、創作者的不同用途應用程式</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*OUV-cPTZtphHXnhgyKRNFA.png" /><figcaption>圖十三：安裝 Omniverse Launcher 之後，即可在 EXCHANGE 找到 Audio2Face 進行安裝</figcaption></figure><h3>語音合成結果與 Omniverse Audio2Face 的整合</h3><p>我們透過 Python 創造了虛擬人的大腦，最後一步則是用 Omniverse Audio2Face 給我們的虛擬人帶來生命；一個會開口說話的聊天機器人。</p><p>Omniverse Audio2Face 帶有串流模式，讓使用者可以透過 <strong>gRPC 通訊協定</strong>即時傳輸語音、讓其進行即時推理。我們可以透過這個接口，將虛擬人的大腦與形體合而為一。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*gCxGMmHRi77oL_SmRHeugw.png" /><figcaption>圖十四：通過 gRPC 通訊協定，接收來自 Python 的輸出</figcaption></figure><h3>馬上試試：虛擬人 Github Repo</h3><p>由上述的流程，我們最終實現了一個簡易的虛擬人，同時我們也開源了實現虛擬人語言能力的 Python 程式碼。你可以在此<a href="https://forums.developer.nvidia.com/t/build-a-simple-avatar-with-asr-sentence-transformer-semantic-similarity-search-tts-and-omniverse-audio2face/213331">連結</a>找到程式碼的使用指引，包含 Python 環境建立、Omniverse Audio2Face 設定…等等，也請各位不吝給我們一顆<strong>星星</strong>予我們的開源專案。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*aUp8oGx4XIp_GYqeqn11AQ.png" /><figcaption>圖十五：我們開源的虛擬人 Github repo</figcaption></figure><p>後續，我們還將持續更新此虛擬人的開源專案集教學內容，以下是目前的暫定內容，歡迎訂閱我們以便內容發布時不會錯過！</p><ul><li><strong>以你自己的形象建立虛擬人外觀</strong></li><li><strong>以 NVIDIA Tao Toolkit 客製化、訓練虛擬人的合成語音模型</strong></li></ul><h3>關於我們</h3><p>「MetAI」是由 Metaverse 與 AI 融合而成的單字，同時意味著 Met (遇見) AI (人工智慧)，是以人工智慧以及元宇宙為主要研究主題的團體，推動創新科技應用以及產業數位轉型。</p><h3>關注我們</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/595/0*9kv74QfIi3W-J2t_.png" /></figure><p>若我們的內容對您有幫助，請不吝幫我們分享、按讚。您的反饋會讓我們知道自己的內容方向是否有價值、能否做得更好，也讓更多需要的朋友也能獲得有用的知識。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=7ab7bf1e4823" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[帶你了解 NVIDIA Audio2Face 技術原理 — Audio-Driven Facial Animation by Joint End-to-End Learning of Pose…]]></title>
            <link>https://metai.medium.com/%E5%B8%B6%E4%BD%A0%E4%BA%86%E8%A7%A3-nvidia-audio2face-%E6%8A%80%E8%A1%93%E5%8E%9F%E7%90%86-audio-driven-facial-animation-by-joint-end-to-end-learning-of-pose-e8c254e83d85?source=rss-b6674c9aa7d3------2</link>
            <guid isPermaLink="false">https://medium.com/p/e8c254e83d85</guid>
            <category><![CDATA[avatar]]></category>
            <category><![CDATA[gtc2022]]></category>
            <category><![CDATA[ai]]></category>
            <category><![CDATA[nvidia]]></category>
            <category><![CDATA[omniverse]]></category>
            <dc:creator><![CDATA[MetAI 宇見智能科技]]></dc:creator>
            <pubDate>Tue, 10 May 2022 06:45:05 GMT</pubDate>
            <atom:updated>2022-05-10T06:48:52.411Z</atom:updated>
            <content:encoded><![CDATA[<h3>📃帶你了解 NVIDIA Audio2Face 技術原理 — Audio-Driven Facial Animation by Joint End-to-End Learning of Pose and Emotion</h3><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fwww.youtube.com%2Fembed%2F9L6gbDRMMxw%3Ffeature%3Doembed&amp;display_name=YouTube&amp;url=https%3A%2F%2Fwww.youtube.com%2Fwatch%3Fv%3D9L6gbDRMMxw&amp;image=https%3A%2F%2Fi.ytimg.com%2Fvi%2F9L6gbDRMMxw%2Fhqdefault.jpg&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=youtube" width="854" height="480" frameborder="0" scrolling="no"><a href="https://medium.com/media/9e2c0773cda918dd2585cdcae25a8369/href">https://medium.com/media/9e2c0773cda918dd2585cdcae25a8369/href</a></iframe><p>在 2022 年 GTC 上，黃仁勳執行長將數位孿生視為今年 NVIDIA 的重點開發項目，其中一項主力產品就是 Audio2Face，其作用簡單來說就是輸入一段音訊給 Audio2Face，Audio2Face 可以依照音訊來控制虛擬頭像 (Avatar) 的面部表情，還可以動態控制情緒表達，例如一段話可以選擇喜怒哀樂等等情緒來表達，而且還是即時控制 (Real-time)，這就必須要求模型夠輕量。</p><h3>Audio-Driven Facial Animation by Joint End-to-End Learning of Pose and Emotion</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*xwXt_sEE0w-DTJbfia9Ddw.png" /><figcaption>圖一. Audio2Face 模型</figcaption></figure><p>Audio2Face 的架構如圖一，<strong>輸入為一段 Audio window 以及 Emotional state，兩者都是一個向量， Audio window 為一段 520ms 的訊號， Emotional state 是用來控制情感的向量，輸出是 5022 個 3D 座標點，所以共有 15066 個回歸預測值，而 Avatar 的臉就是由這 5022 個點來控制的</strong>。那為何我們需要 Emotional state 呢 ? 原因在於一段聲音可以用不同情緒的臉來表達，例如生氣的臉、開心的臉等等，如果沒有 Emotional state 的話，那模型的輸入與輸出就是一段 Audio window 與多種表情，但是這對於神經網路來說是不可能的，因為同一個輸入只會有同一個輸出，這時候就需要另外一個輸入 Emotional state 來組合成一組輸入搭配一個輸出。</p><p>整個網路由三個模組組成，Formant analysis network、Articulation network 以及 Output network。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/531/1*-5TL9WKTBE7jnSum6yS97g.png" /><figcaption>圖二. Audio2Face 模型架構</figcaption></figure><h3><strong>Input preprocessing</strong></h3><p>Audio window 輸入給 Audio2Face 之前會先經過 chunking 前處理，假設 Audio window 長度為 520ms，會以 sliding window 的方式取出多個 frame，每個 frame 為 16ms 且移動過程中彼此重疊 (overlap) 8ms，經過處理後，共可取出 64 個 frame，每個 frame 為 16ms，在這邊將此矩陣稱作 <strong>X</strong>。 64 視為時間序列，16ms 則是特徵維度，搭配採樣率 16 kHz 的話就是 256。</p><h3><strong>Formant analysis network</strong></h3><p>如圖二，輸入為矩陣 <strong>X</strong>，首先第一層為 Autocorrelation，又稱為自相關，是統計學中用來計算時間序列內相關性的方法，例如上週與上上週每天天氣之間的相關性、一段音訊中不同片段之間的相關性等等。在 Autocorrelation 中有一個參數 K 稱為相位差，例如一段訊號為 [1,2,3,4,5]，若 K=1 就是 [1,2,3,4] 與 [2,3,4,5] 計算相關性。在論文中 K=32，所以 <strong>X </strong>經過 Autocorrelation 後得到1x64x32 的輸出。當然這邊也能夠使用其他種頻譜分析方法。接著再通過多層卷積層，每一層都是一維卷積 (1x3)，<strong>卷積的維度主要是後方的特徵維度 32，作者稱為 Formant axis</strong>，最後得到輸出 <strong>X1</strong> 256x64x1。</p><h3><strong>Articulation network</strong></h3><p>Articulation network 的目的在於同時處理 Audio 特徵以及 Emotional state，運作方式為將 <strong>X1 </strong>通過卷積然後與 Emotional state 做 concatenate，圖二中 256+E 就是 concatenate，重複此步驟 5 次就得到輸出結果。觀察這模組的卷積核大小為 3x1，卷積的維度主要是時間維度 (64)，作者稱為 Time axis，最後得到輸出 <strong>X2 </strong>(256+E)x1x1。</p><h3>Output network</h3><p>最後來到輸出層，輸出層主要的目的就是預測 5022 個 3D 座標。中間有一層全連接層神經元數量為 150，這個數字是有道理的，論文中先對資料進行 PCA，分析幾個主成分可以達到理想的可解釋變異 (explained-variance)，並以該主成分的數量當成神經元個數，論文中使用 150 個主成分可以解釋 99% 的變異。這種使用 PCA 主成分數量當成神經元個數的方法還蠻常見的，其想法在於 PCA 是一種線性降維，與全連接層一樣都是一種線性降維方式，使用此方式可以在決定神經元個數時不需要一開始就用 512, 1024 等等這麼多的神經元。</p><h3>Emotional state</h3><p>Emotional state 主要決定臉部表情的情緒，而人類的情緒是千變萬化的，論文作者認為不可能在一開始歸納出所有情緒，所以 Emotional state 是由網路學習出來的，其作法是將前處理後的輸出 <strong>X </strong>再通過卷積得到 Emotional state，隨著 Articulation network 的卷積層數的增加，就會多做一個卷積，例如 Articulation network 的第一層所接的 Emotional state 維度就是 Ex32；第二層所接的 Emotional state 是 Ex32 再做一次卷積得到 Ex16，後面以此類推，其中 E 是 Emotion 數量。</p><p>有趣的是，一開始我們並不知道到底有幾種情緒，所以 E 視為一個超參數，在論文中一開始 E 設為 100。另外，每個 E 所代表的情緒一開始也不知道，所以論文中設計了三個過濾步驟來統整所有的 E。</p><h3>Emotional state 過濾步驟一:</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/781/1*L5n5CcFupaRh-0QyZsEhvQ.png" /><figcaption>圖三. Visualization of the opening of the mouth during the course of an audio clip (x-axis) under different constant emotion vector inputs.</figcaption></figure><p>圖三是使用一段音訊搭配所有的 Emotional state 產生的熱圖，並觀察講話過程中嘴巴的閉合過程，顏色越趨近紅色表示嘴巴打開，反之藍色表示嘴巴閉合，x 軸是時間維度，y 軸是所有的 Emotional state。正常來說，講話過程中嘴巴是一閉一合的，不可能從頭到尾都是開 (always open) 或是關 (not opening)，透過這方式將異常的 Emotional state 過濾掉。</p><h3>Emotional state 過濾步驟二:</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/781/1*2JxwutIitWBIQakg0-D7GA.png" /><figcaption>圖四. Human-understandable semantic meanings for different emotion vectors are assigned manually by examining the animation they produce.</figcaption></figure><p>第二種過濾方式如圖四，這個步驟在於決定每個 Emotional state 代表什麼情緒，圖四中表示多個 Emotional state 所產生的 3D 人臉，人臉產生後手動主觀決定其情緒。</p><h3>Emotional state 過濾步驟三:</h3><p>此步驟使用現實中的 Audio，搭配所有的 Emotional state 進行生成，並過濾出人臉變化異常的 Emotional state，例如人臉不正常的抽動、扭曲等等。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Y9sBCyI-aPyWkBMq4cnZEA.png" /><figcaption>圖五. NVIDIA Audio2Face</figcaption></figure><p>通過以上步驟，最後剩下的 Emotional state 就是真正可用的情緒表達向量。以 NVIDIA Audio2Face 軟體上的介面來說，最後採用了 12 種 Emotional state，如圖五右下方 12 種情緒，而且還能夠控制 12 種情緒的高低起伏。</p><h3>Ensemble</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/804/1*C55qj12R44ZjPY5qpphKnw.png" /><figcaption>圖六. Ensemble Predictions</figcaption></figure><p>論文中還使用了 Ensemble 來防止嘴唇運動時可能產生不正常的抖動，如圖六，嘴唇紅點是測量位置，橘線是使用單一個預測值的效果，綠線是 Ensemble 的結果，可以看到橘線相較於綠線抖動程度更加厲害。其中 Ensemble 的方法就是將時間上的預測結果進行平均，每次間隔 4ms，例如第一次預測是使用 1~520 ms，第二次則是 5~524 ms，藉此嘴唇消除不正常的抖動。</p><p>最後，我們 MetAI 也會在接下來推出一系列的數位孿生 Avatar 教學，其中就包含了 Audio2Face，歡迎對數位孿生有興趣的朋友關注我們！</p><p>References:</p><p>📃 Audio-Driven Facial Animation by Joint End-to-End Learning of Pose and Emotion: <a href="https://users.aalto.fi/~laines9/publications/karras2017siggraph_paper.pdf">https://users.aalto.fi/~laines9/publications/karras2017siggraph_paper.pdf</a></p><p>NVIDIA Audio2Face: <a href="https://www.nvidia.com/zh-tw/omniverse/apps/audio2face/">https://www.nvidia.com/zh-tw/omniverse/apps/audio2face/</a></p><h3>關於我們</h3><p>「MetAI」是由 Metaverse 與 AI 融合而成的單字，同時意味著 Met (遇見) AI (人工智慧)，是以人工智慧以及元宇宙為主要研究主題的社群，立意在於推動創新科技應用以及產業數位轉型。</p><h3>關注我們</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/595/0*Ugyv-ee4xvXtD68V.png" /></figure><p>若我們的內容對您有幫助，請不吝幫我們分享、按讚。您的反饋會讓我們知道自己的內容方向是否有價值、能否做得更好，也讓更多需要的朋友也能獲得有用的知識。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=e8c254e83d85" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[【NVIDIA 2022 春季 GTC】NVIDIA Omniverse 帶來的虛擬人、數位孿生、AI 應用，三個亮點快速看]]></title>
            <link>https://metai.medium.com/nvidia-2022-%E6%98%A5%E5%AD%A3-gtc-nvidia-omniverse-%E5%B8%B6%E4%BE%86%E7%9A%84%E8%99%9B%E6%93%AC%E4%BA%BA-%E6%95%B8%E4%BD%8D%E5%AD%BF%E7%94%9F-ai-%E6%87%89%E7%94%A8-%E4%B8%89%E5%80%8B%E4%BA%AE%E9%BB%9E%E5%BF%AB%E9%80%9F%E7%9C%8B-c383613bdcb?source=rss-b6674c9aa7d3------2</link>
            <guid isPermaLink="false">https://medium.com/p/c383613bdcb</guid>
            <dc:creator><![CDATA[MetAI 宇見智能科技]]></dc:creator>
            <pubDate>Wed, 23 Mar 2022 00:56:33 GMT</pubDate>
            <atom:updated>2022-03-23T02:38:13.943Z</atom:updated>
            <content:encoded><![CDATA[<h3>【NVIDIA 2022 春季 GTC】NVIDIA Omniverse 帶來的虛擬人、數位孿生、AI 應用，三個亮點快速看！</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*w_cBek6oPH-4D8Bd6o79kg.png" /><figcaption>今年的老黃是真身還是 CG，我真的不敢說</figcaption></figure><p>GTC 2022 的重頭戲：CEO 黃仁勳的演講在台灣時間 2022/03/22 11:00PM 時進行。回顧 GTC 2021 時技驚四座的數位孿生技術展示，在本次大會上又延伸初更多長足的進展；我們看到更多環繞模擬平台 <strong>Omniverse</strong> 進行的研究以及完善現實的案例。</p><h3>【亮點一】Maxine 結合自然語言處理、電腦繪圖，弭平線上會議的隔閡</h3><p>由於疫情之故，近年來線上會議的比重越來越高，Maxine 帶來突破性的會議體驗，它能夠實現：</p><ul><li>語音辨識生成即時字幕</li><li>機器翻譯打破語言隔閡</li><li>依照翻譯生成相應的語音、臉部動畫</li><li>調整臉部畫面，使講者與聽眾保持眼神交流</li></ul><h4>語音辨識、機器翻譯生成即時字幕</h4><p>Maxine 能夠實時產生講者的字幕，並且能夠翻譯成七種不同的語言，對不同母語的溝通者帶來極大的便利；語言將不再是溝通的隔閡。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*NmHa7B5d2Nxk6JsuzFxRCg.png" /></figure><h4>依照翻譯生成相應的語音、臉部動畫</h4><p>Maxine 不僅能做到即時的語音辨識與翻譯，更能夠進一步生成目標語言的語音、目標發音的嘴型與臉部動畫，就好像講者本來就使用該語言來做溝通一樣。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*0Yz_MZ9LU2C8_IbRnsf-aA.png" /><figcaption>對不同的語言生成相應的臉部動畫</figcaption></figure><h4>調整臉部影像，保持與聽眾的眼神交流</h4><p>調整臉部影像，讓講者好像隨時都面對著其他會議的與會者，對講者在看稿時有很大的幫助。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ZvXoVP_VCnnD9qgJJXSEYA.png" /></figure><h4>關於 Maxine</h4><p>Maxine 之所以能夠實現上述的功能，是使用 NVIDIA 自家的<strong> 「對話式 AI 框架 </strong><a href="https://blogs.nvidia.com.tw/2021/12/07/introducing-riva-a-gpu-accelerated-sdk-for-accelerating-speech-ai-apps/"><strong>RIVA</strong></a><strong>」以及「模擬平台 Omniverse」</strong>，RIVA 包含自動語音辨識（automatic speech recognition，ASR）和文字轉語音（text-to-speech，TTS），而 Omniverse 則產生栩栩如生的人物外觀。</p><p>我們認為 Maxine、RIVA 未來勢必會成為革命性的應用軟體，面向內容創作者會有極大的正面影響。（語音辨識實現內容跨語言、文字轉語音改變傳統配音流程...etc）</p><h3>【亮點二】數位人類 Omniverse Avatar：下個世代的聊天機器人、智慧助理</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*JMdjTk_WQldpq-Sz3fUDQg.png" /><figcaption>黃仁勳與自己的數位替身交談</figcaption></figure><p>在本次的 Keynote 上，黃仁勳與自己的數位替身對話的一幕令人印象深刻。其實早在 GTC 2021 時，黃仁勳就展示過這個專案，當時還引起了不小的轟動，但這次數位替身看起來更加活靈活現了。</p><h4>數位人類</h4><p>黃仁勳的數位替身以及類似的應用，我們稱其為數位人類（digital-human），它是由人工智慧驅動的的類人虛擬生物，能夠與人類進行對話。</p><p>近年來大型企業先後投身並致力於開發數位人類。NVIDIA 在 AI、高速運算、電腦繪圖的領先地位，讓其成為真正將數位人類帶到大眾視野的企業，大家也得以見到下一個世代的智慧助理、聊天機器人的樣貌。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*pPlrpxp-z897RJxdIxA4DA.png" /><figcaption>Project <strong>Tokkio：可與人互動進行點餐的數位人類</strong></figcaption></figure><p>實現數位人類的基礎牽涉多個技術核心，例如：</p><ul><li><strong>語音辨識</strong></li><li><strong>自然語言理解</strong></li><li><strong>自然語言生成</strong></li><li><strong>語音生成</strong></li><li><strong>語音驅動的數位人類動畫產生（臉部表情、肢體動作）</strong></li><li><strong>模擬物理世界光線的渲染效果</strong></li></ul><p>下圖是 NVIDIA 所揭露的兩個數位人類應用的架構，自然語言處理使用 RIVA 框架，而數位人物的動作、行為、渲染則是 Omniverse 的各種強大工具：Audio2Face、Audio2Gesture、Ray tracing…等等。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*0O72FIbpghYvLWNC1NQ_2Q.png" /><figcaption>NVIDIA 的數位人類架構</figcaption></figure><h4>Audio2Face</h4><p>只需輸入音訊給 Audio2Face，即可模擬出虛擬人像講話的樣子。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*nhUD4KrsCZOJsGLThyV2Ag.png" /><figcaption>audio2face — 由音訊驅動的數位人類臉部動畫</figcaption></figure><h4>Omniverse Animation</h4><p>Omniverse Animation 定義並管理所有肢體動作，例如視線, 手臂擺幅等等。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ZTfH4Kp-r9owiFI6ZaWHLg.png" /><figcaption>Omniverse Animation</figcaption></figure><h4>NVIDIA Material Definition Language (MDL)</h4><p>MDL 是由 NVIDIA 自家開源的材質定義語言，可以讓所有的資產 (Asset) 渲染的更加真實，例如讓下圖的夾克擁有皮革的反光感。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*XasFuursdBu6ZSqB17c4zA.png" /><figcaption>NVIDIA Material Definition Language (MDL)</figcaption></figure><p>NVIDIA 表示 Omniverse 中將會包含一個專屬製作數位人類的框架：Omniverse Avatar，是一個令人振奮的消息，但透過觀察上述兩個案例的架構，兩者使用的自然語言模型都是 Megatron 530b；顧名思義是擁有 530,000,000,000 個參數的超大型人工智慧語言模型，一般用戶不可能使用，而較可能在大型的專案上看到它的應用。</p><h3>【亮點三】自動駕駛系統：NVIDIA Drive</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*QedrAFxYYTQI1ERy6KkHbA.png" /><figcaption>NVIDIA Drive</figcaption></figure><p>事實上 GTC 2022 Keynote 的內容大部分在 GTC 2021 上都有出現過，只有 NVIDIA Drive 是第一次正式登場。</p><p>NVIDIA Drive 是 NVIDIA 的<strong>自駕車系統</strong>，在會議中，NVIDIA 示範緊密整合的 NVIDIA Drive，一名 NVIDIA 的員工進一步以自動駕駛模式上路。</p><p>個人認為它是<strong>全場最吸睛</strong>的部分；因為它宣告<strong>全自動駕駛車的時代即將到來</strong>，技術展示也讓人留下深刻印象。</p><h4>NVIDIA 的自動駕駛車煉成術！！</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*R5vjQOoqmHkuyhZprH092w.png" /></figure><p>黃仁勳將現行機器人開發的流程總結為 4 大項，也是他們用於 NVIDIA Drive 的開發流程：</p><ul><li><strong>蒐集並且產生實際路況資料</strong></li><li><strong>建立人工智慧模型</strong></li><li><strong>使用數位孿生模擬</strong></li><li><strong>機器人控制</strong></li></ul><h4>蒐集並且產生實際路況資料</h4><p>蒐集並產生訓練 AI 模型使用的實際路況資料，NVIDIA 使用了 <strong>DeepMap HD</strong>、<strong>人工標籤</strong>、<strong>Omniverse 產生的合成資料</strong>。</p><p><strong>DeepMap HD</strong> 是由搭載高精度感測器的車隊所蒐集的資料所建構。這些車隊行駛於自駕車路線並且繪製地圖，也會製作能廣泛應用的地面實況圖。其應用範圍包括自駕計程車、貨運車輛和自駕卡車，<strong>NVIDIA 正在製作地球量級的 DeepMap HD 以探索新的演算法，並且在佈署到車輛之前在虛擬地圖中進行測試。</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*a1w4Cg82mkWu87-U_nANTw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*AMGcx9vLIWS_j6xGRRqkvg.png" /><figcaption>DeepMap 製作第一步：Lidar 掃描製作高精度地圖</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*HPY3souVnNIy2cdBN9jeiQ.png" /><figcaption>DeepMap 製作第二步：將高精度地圖導入 Omniverse</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*r-F3v81PalxUw5zmuYT1hQ.png" /><figcaption>DeepMap 製作第三步：程序性建模產生 建築、設施、植物</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*09VfaKmdKZW5Z5CYBRuMcw.png" /><figcaption>人工標籤</figcaption></figure><p><strong>合成資料</strong>是以電腦模擬或演算法產生出且含有註釋資訊的合成資料，用來取代真實環境資料。使用合成資料有諸多好處，其也被視為未來 AI 開發不可或缺的助力，並且專家估計在 2030 年時，AI 的訓練資料將會高達 60% 出自合成資料。</p><p>NVIDIA 即用 Omniverse 中的工具「Omniverse Replicator」自動產生了各種自駕車常用的資料與標籤。</p><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fwww.youtube.com%2Fembed%2FgPaFgNEF82Q%3Fstart%3D72%26feature%3Doembed&amp;display_name=YouTube&amp;url=https%3A%2F%2Fwww.youtube.com%2Fwatch%3Fv%3DgPaFgNEF82Q&amp;image=https%3A%2F%2Fi.ytimg.com%2Fvi%2FgPaFgNEF82Q%2Fhqdefault.jpg&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=youtube" width="854" height="480" frameborder="0" scrolling="no"><a href="https://medium.com/media/be91aa368d978dda37361a08fda358e7/href">https://medium.com/media/be91aa368d978dda37361a08fda358e7/href</a></iframe><h4>NVIDIA Drive 的基礎：Hyperion 8</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*CmOR926HJAaE_3o_dhrIGg.png" /></figure><p>Hyperion 8 是 NVIDIA 自駕車的硬體架構，也是NVIDIA Drive 系統的基礎。Hyperion 8 的組成包含：感測器、網路、自駕車電腦、智能助理人工智慧電腦、任務紀錄器、網路安全系統。</p><p>Hyperion 8 有著Level 3 輔助駕駛、 Level 4 自動停車與 AI 智慧駕駛座等功能，即將在 2024 年搭配於 Benz 車款上市。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*cofBK02-2NHIz1vnKvRLsg.png" /><figcaption>Hyperion 8 搭配的智能助理隨時觀測駕駛人狀況</figcaption></figure><h4>數位孿生的模擬</h4><p>自駕車在部署之前，需要先進行大規模開發，並在多種情境下進行測試。然而，要在真實世界中駕駛到必要的里程數需要耗費大量時間與資金，而且基本上不可能遇到罕見且危險的情境。</p><p><a href="https://developer.nvidia.com/drive/drive-sim">NVIDIA DRIVE Sim™</a> 可透過符合真實物理的模擬平台建造數位孿生，解決這些挑戰，將在真實世界中駕駛的需要降到最低。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*eoOG5USPYrUuDWVqluR7xA.png" /><figcaption>圖左</figcaption></figure><p>Drive Sim 中的數位孿生與現實中的車輛本體同步，數位孿生得到來自車輛本體各種感測器的資料以及整個駕駛過程的環境狀態，模擬實際的駕駛體驗。甚至，還能夠透過 AI 生成駕駛過程當中沒有發生的極端事件。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*2iRuecy2zgnR3-YSBgN-mA.png" /><figcaption>真實駕車體驗</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*7MXINXdsFTs9_5uKHanTHA.png" /><figcaption>AI 從真實駕車體驗資料生成的各種撞車事件(在真實駕車體驗當中未發生)</figcaption></figure><h3>NVIDIA Drive 與 Avatar 的終極融合 !</h3><p>在 Keynote 影片中還演示一段 NIVIDA 與 Avatar 結合的技術結晶，影片如下:</p><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fwww.youtube.com%2Fembed%2F39ubNuxnrK8%3Fstart%3D3943%26feature%3Doembed%26start%3D3943&amp;display_name=YouTube&amp;url=https%3A%2F%2Fwww.youtube.com%2Fwatch%3Fv%3D39ubNuxnrK8&amp;image=https%3A%2F%2Fi.ytimg.com%2Fvi%2F39ubNuxnrK8%2Fhqdefault.jpg&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=youtube" width="854" height="480" frameborder="0" scrolling="no"><a href="https://medium.com/media/e47a31332c8e65fa17c1f410a4972dd8/href">https://medium.com/media/e47a31332c8e65fa17c1f410a4972dd8/href</a></iframe><p>下方畫面顯示自駕車找到目標人物後，自動停駛在路邊，我們可以發現中間的面板有將目標人物的人臉框出來，這表示在車子行進過程中隨時隨地都在進行人臉偵測，以便尋找目標。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*khKjYLNwmz_4ImiDrgbUsA.png" /><figcaption>The AI assistant can detect a specific person</figcaption></figure><p>下圖顯示駕駛視線看像左前方，並問 Avatar 說 「What building is that there ?」，Avatar 隨即回答該建築物的名稱為「San Jose center of Performing Arts」，右上角有模型隨時偵測駕駛的視線，Avatar 即可了解駕駛所問的問題如何回答。</p><p>請大家從影片 1:07:06 開始觀看</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*aYmPnpRcAQ1sRN6BoIxoog.png" /><figcaption>Multimodel AI assistant answers question</figcaption></figure><h3>GTC 2022 Keynote 傳送門</h3><p>關於數位孿生在各行各業的應用，在 Keynote 當中還提到很多精彩的案例，但礙於篇幅而只能忍痛選出我最喜歡的三個亮點。想要更多創新科技帶來的啟發，自己聽聽老黃怎麼說吧！</p><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fwww.youtube.com%2Fembed%2F39ubNuxnrK8%3Fstart%3D1257%26feature%3Doembed%26start%3D1257&amp;display_name=YouTube&amp;url=https%3A%2F%2Fwww.youtube.com%2Fwatch%3Fv%3D39ubNuxnrK8&amp;image=https%3A%2F%2Fi.ytimg.com%2Fvi%2F39ubNuxnrK8%2Fhqdefault.jpg&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=youtube" width="854" height="480" frameborder="0" scrolling="no"><a href="https://medium.com/media/f12527af644da44ac4e6070b7dac901b/href">https://medium.com/media/f12527af644da44ac4e6070b7dac901b/href</a></iframe><h3>元宇宙降臨 GTC 2022！ 盤點五個開發者要開始元宇宙應用不能錯過的議程！！</h3><p>正火熱進行的 GTC 2022，有著不少元宇宙相關的議程，從元宇宙的基礎觀念、實做解析，再到世界前沿的成功應用案例，我們整理出 5 個開發者想要入門元宇宙應用開發所必聽的議程。請見此<a href="https://metai.medium.com/%E5%85%83%E5%AE%87%E5%AE%99%E9%99%8D%E8%87%A8-gtc-2022-%E7%9B%A4%E9%BB%9E%E4%BA%94%E5%80%8B%E9%96%8B%E7%99%BC%E8%80%85%E8%A6%81%E9%96%8B%E5%A7%8B%E5%85%83%E5%AE%87%E5%AE%99%E6%87%89%E7%94%A8%E4%B8%8D%E8%83%BD%E9%8C%AF%E9%81%8E%E7%9A%84%E8%AD%B0%E7%A8%8B-7478530d4564">連結</a>，進入元宇宙的大門吧！</p><h3>關於我們</h3><p>「MetAI」是由 Metaverse 與 AI 融合而成的單字，同時意味著 Met (遇見) AI (人工智慧)，是以人工智慧以及元宇宙為主要研究主題的社群，立意在於推動創新科技應用以及產業數位轉型。</p><h3>關注我們</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/595/0*ROzmAhk1NwKi0tKr.png" /></figure><p>若我們的內容對您有幫助，請不吝幫我們分享、按讚。您的反饋會讓我們知道自己的內容方向是否有價值、能否做得更好，也讓更多需要的朋友也能獲得有用的知識。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=c383613bdcb" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[AI 與廣告設計的結合，Creatopy 大幅縮減設計師的製圖時間成本]]></title>
            <link>https://metai.medium.com/ai-%E8%88%87%E5%BB%A3%E5%91%8A%E8%A8%AD%E8%A8%88%E7%9A%84%E7%B5%90%E5%90%88-creatopy-%E5%A4%A7%E5%B9%85%E7%B8%AE%E6%B8%9B%E8%A8%AD%E8%A8%88%E5%B8%AB%E7%9A%84%E8%A3%BD%E5%9C%96%E6%99%82%E9%96%93%E6%88%90%E6%9C%AC-e3bd39e00e95?source=rss-b6674c9aa7d3------2</link>
            <guid isPermaLink="false">https://medium.com/p/e3bd39e00e95</guid>
            <category><![CDATA[creatopy]]></category>
            <category><![CDATA[advertisement-design]]></category>
            <dc:creator><![CDATA[MetAI 宇見智能科技]]></dc:creator>
            <pubDate>Mon, 21 Mar 2022 15:27:47 GMT</pubDate>
            <atom:updated>2022-03-21T15:27:47.861Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/818/1*zzOHaQ_ldVTgpPwKaynhpA.png" /><figcaption>集結 AI 與創造為一體的廣告設計平台 Creatopy</figcaption></figure><p><a href="https://www.creatopy.com/">Creatopy</a> 是一個提供廣告設計服務的平台，於去年在特蘭西瓦尼亞成立，該平台可以讓設計師透過使用 AI 工具快速擴展創意，輕鬆套用到不同社群媒體的廣告格式及尺寸。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/668/0*k5wqNLvxBKlaMMtA.jpeg" /><figcaption>Creatopy’s Chief AI Officer, Alejandro Diaz</figcaption></figure><p>Creatopy’s Chief AI Officer, Alejandro Diaz 表示：現今多數企業依賴於執行重複性任務，從收集數據到質量檢查再到實際製造完全相同的東西。如果他們日復一日地做同樣的事情，就足以讓任何人討厭自己的工作內容，工作變得無趣。對任何具​​有創意但重複性的工作任務也是如此，例如將設計成品轉換應用到不同尺寸上（俗稱：展圖）。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*WPF6pIJTJBcH7kdPLArJKg.jpeg" /><figcaption>不同的社群媒體、檔案都有其規定的像素尺寸</figcaption></figure><p>（設計師的 OS：在設計業裡，主視覺定案後便會開始展圖，多數平面設計師覺得展圖是一件耗費時間且枯燥乏味的工作😵‍💫）。</p><p>AI 是一種幫助人們提升工作效率的工具，同時也可以消除無趣、重複性高且瑣碎的工作。因此，<a href="https://aimagazine.com/technology/ai-art-created-aboard-the-international-space-station">AI is an enabler of truly radical, creative</a> 思維的推動者。擺脫了枯燥工作的需求，人們有更多的時間和精力進行創造性思考、解決問題和提出新的思維方式。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*kTKgbPcebV_KXc54qEGcNQ.png" /></figure><p>這超越了創意和交付：細分對於個性化體驗來說至關重要，但如果你必須每季度、每月或每週進行一次細分，則細分很困難，而且可能會很無聊。在當今瞬息萬變的消費者環境中，您需要經常這樣做以跟上消費者的需求。同樣，AI 為廣告商輕鬆解決這個問題，為真正個性化和有趣的創意騰出更多空間。</p><p>AI 不僅是我們產品的一部分，我們自己也使用它來更了解我們的客戶，並改善內部運營，從優化我們的電子郵件到改進<a href="https://aimagazine.com/technology/how-ai-and-rpa-are-changing-the-recruitment-process">求職者選擇</a>，再到預測和提高客戶轉化率和保留率。</p><h3><strong>實測 Creatopy</strong></h3><p>我們設計師實際體驗之後，Creatopy 確實可以大幅縮短製圖的時間，以下整理出 Creatopy 的幾項優點：</p><ul><li>製圖的方便性高：內建多種套版可以直接改圖使用，不使用套版的情況下，內建的文字編排都有一定程度的設計感，文字部分基本上不需要再多花時間編排。</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*dSPn3iV1dPrNr6c4CEvUaA.png" /><figcaption>套用有設計感的文字編排</figcaption></figure><ul><li>圖片調整性高：可以使用形狀將圖片做遮罩，更棒的是有內建 Background Remove（去背）服務，去背的效果表現很棒，但若是帶有柔焦的圖片就表現得不好，畢竟柔焦的圖片本身就不容易完美去背。</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*e6TnKv0OSubQiqN6KcdRiQ.png" /><figcaption>Creatopy 內建去背能力可圈可點</figcaption></figure><ul><li>素材的豐富性足：平台中有許多合法素材提供使用：圖片、影片、向量圖、音樂以及 Giphy 等等，皆能直接以拖拉方式放進自己的設計圖裡，大幅減少設計師在製圖過程中煩惱素材的合法性，以及穿梭在各大合法素材網站裡尋找素材的時間（在合法素材網站的訂閱費用上也能減少一些支出）。</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*epwbT9xibJ55dmy90O7ozQ.png" /><figcaption>豐富的素材可供使用</figcaption></figure><ul><li>快速製作動畫：要讓靜態的圖片動起來就需要製作動畫，電腦要安裝影片編輯軟體，常見的有：Photoshop（可製作簡單 Gif）, After Effects, Premiere Pro, Final Cut Pro, DaVinci 等，除了電腦配置本身要有一定程度的規格，另外最重要的是要有軟體的操作基礎。Creatopy 製作動畫的操作容易且能快速完成一支短影片。</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*CpjdrTLaGA08PoMfQG_fKg.png" /><figcaption>容易操作的介面</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/820/1*xhgElmWeeyxaeoswriA_Ww.gif" /><figcaption>快速完成的影片</figcaption></figure><ul><li>支援輸出多種檔案格式，不需要額外再轉檔。</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/468/1*HefOZAAg25cifP6rWL_fGg.png" /></figure><h3><strong>總結</strong></h3><p>體驗下來 Creatopy 提供的服務很完善，以下幾種使用情境都適合月付 35~45 美元使用平台提供的各項服務：</p><ul><li>公司內部沒有視覺設計師</li><li>小型網路電商：有數量較多的商品圖需要製作，以及需要在不同的社群平台貼文曝光。</li><li>任何沒有製圖及製作動畫基礎的人、有製圖需求但沒有預算在購買或訂閱繪圖軟體的人</li></ul><p>Creatopy 提供的不僅只有廣告製作服務，上述提到能使用 AI 技術來預測和提高客戶轉化率和保留率，這方面我們就不額外做介紹。</p><h3>關於我們</h3><p>「MetAI」是由 Metaverse 與 AI 融合而成的單字，同時意味著 Met (遇見) AI (人工智慧)，是以人工智慧以及元宇宙為主要研究主題的社群，立意在於推動創新科技應用以及產業數位轉型。</p><h3>關注我們</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/595/0*FKFUY3s4dKuwAPDx.png" /></figure><p>若我們的內容對您有幫助，請不吝幫我們分享、按讚。您的反饋會讓我們知道自己的內容方向是否有價值、能否做得更好，也讓更多需要的朋友也能獲得有用的知識。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=e3bd39e00e95" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[如何分辨 Deepfake 產生的影片，避免虛假訊息的騙局？]]></title>
            <link>https://metai.medium.com/%E5%A6%82%E4%BD%95%E5%88%86%E8%BE%A8-deepfake-%E7%94%A2%E7%94%9F%E7%9A%84%E5%BD%B1%E7%89%87-%E9%81%BF%E5%85%8D%E8%99%9B%E5%81%87%E8%A8%8A%E6%81%AF%E7%9A%84%E9%A8%99%E5%B1%80-863a6c3a13e5?source=rss-b6674c9aa7d3------2</link>
            <guid isPermaLink="false">https://medium.com/p/863a6c3a13e5</guid>
            <category><![CDATA[數位性別暴力]]></category>
            <category><![CDATA[deepfakes]]></category>
            <category><![CDATA[gans]]></category>
            <dc:creator><![CDATA[MetAI 宇見智能科技]]></dc:creator>
            <pubDate>Sun, 20 Mar 2022 12:11:26 GMT</pubDate>
            <atom:updated>2022-03-20T12:17:46.712Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*BCNFwALizJ9wwWux.jpeg" /><figcaption>烏克蘭總統 Volodymyr Zelensky 喊話國民投降的 Deepfake 影片</figcaption></figure><p>在經歷了網紅假造名人不雅影片、烏克蘭總統投降假聲明…等等重大社會事件，Deepfake 這個名詞已經走入大眾的視野。Deepfake 背後的技術本來是科研的一大成果，卻變成被用於犯罪的工具？有沒有分辨的可能？本文我們將會討論以下主題：</p><ul><li>起源：生成對抗網路的發展</li><li>真假難辨的生成結果</li><li>即時換臉軟體：Deepfake</li><li>Deepfake 與數位性別暴力</li><li>防範騙局：了解 Deepfake 影片的特性</li></ul><h3>起源：生成對抗網路 (Generative adversarial networks)</h3><p>在 AlexNet 參加了 2012 年舉行的 ImageNet 大規模視覺辨識挑戰賽，達到最低的15.3%的 Top 5 錯誤率開始的十年間，AI 技術的發展可謂突飛猛進。AI 應用先後在圖像、音訊….等領域大放異彩，對於資料的辨識能力開始超過人類。</p><p>2014 年科學家 Ian J. Goodfellow 發展出對未來影響甚鉅、簡稱為 GAN (Generative adversarial networks)的生成對抗網路；這個技術顧名思義能夠產生極為真實的資料。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/974/0*xDSbgHHMJfDKfSwp.png" /><figcaption>2014 年 GAN 原始論文中展示生成的圖像</figcaption></figure><h3>日益真假難辨的生成結果</h3><p>GAN 的出現引起業界的熱烈反響，隨著科研的不斷進展， GAN 也越加成熟、效果越來越好，短短 5 年之內，其產生的各種資料已經讓人難以辨別真偽。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/786/0*npeJhvwSm3PCfWCY.png" /><figcaption>GAN 技術所生成的人臉，逼真程度逐年都在上升</figcaption></figure><h3>換臉軟體：Deepfake</h3><p>AI 應用逐漸普及，人們越來越容易取得 AI 的各種工具與服務做自己的用途，其中就包含今年來聲名大噪的換臉軟體 Deepfake。</p><p>Deepfake 是基於 GAN 的應用，其透過人臉識別技術，找尋畫面中的人臉位置、用 AI 生成的人臉替換掉原本的人臉。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/0*QaSRa7faftIZzc1N.gif" /><figcaption>Deepfake 換臉軟體</figcaption></figure><p>因為極具娛樂性，基於 Deepfake 各式各樣的應用案例在大眾與社群媒體的渲染之下常常成為瘋傳的話題，同時大眾莫不為 AI 的超能力感到驚訝。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/728/0*_sxT5Ot-BEn0OsU_.gif" /><figcaption>應用程式 ZAO 使用 Deepfake 將戲劇演員臉部替換成使用者</figcaption></figure><p>南韓小有名氣的網路歌手 Rui，在 2021 年曝光自己的實際上僅有頸部以下身體、頭髮與聲音部分為本人。除了YouTube影片內容藉由 Deepfake 合成面容，包含在Instagram上的靜態照片內容，其實也是用同樣的方式製作而成。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/0*m1rlks4wa-PcTr_w" /><figcaption>南韓網路歌唱偶像 Rui 的臉孔由 AI 生成</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/520/0*cJKPlZ5_gsC5CtVX.gif" /><figcaption>由 Deepfake 生成的 Rui 臉部幾乎毫無破綻</figcaption></figure><h3>DeepFake 與數位性別暴力</h3><blockquote>「透過網路或數位方式，基於性別之暴力行為。即針對性別而施加他人之暴力或不成比例地影響他人，包括身體、心理或性之傷害、痛苦、施加威脅、壓制和剝奪其他行動自由等。」（參酌 CEDAW 一 般性建議第 19 號第 6 段意旨）。</blockquote><p>在大眾都可使用 Deepfake 以後，我們固然會看到許多創意的應用，但是反面的例子也同樣存且影響力更大；其嚴重地造成了社會秩序的破壞。目前 Deepfake 濫用最多的案例集中在色情內容、政治性目的。</p><p>DeepNude 是一款讓使用者可以透過輸入女性照片後，達到去除衣物後裸體的結果。 DeepNude 的發布說明了將 Deepfake 使用在色情內容的工具變得越來越容易獲得，任何女性都可能成為此科技濫用下的受害者。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/607/0*0oba--1cdJlV1CAP.png" /></figure><p>美國新創公司 Deeptrace 的報告指出網路上高達 96％ 的 Deepfake 影片，是未經當事人許可下合成的色情影片，雖然是假的影片，但因為有一定程度的擬真，使受害者在身心靈受到創傷。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/762/0*PduQs2YJD8aJr0ol.png" /><figcaption>Deepfake 生成的色情內容受害者多為歐美演員</figcaption></figure><p>事實上國內也發生過同樣的事件，百萬 YouTuber 「小玉」朱玉辰涉嫌於 Telegram 群組收費散布多則立委、YouTuber 等名人的 Deepfake 造假色情影音，而遭警方逮捕。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*4FiaOucQn1XF7_o8.png" /></figure><h3>防範騙局：了解 Deepfake 影片的特性</h3><p>分辨 Deepfake 的技術近些年成為熱門的主題，除了知名學術機構投入專案以外，知名的資料科學競賽平台 Kaggle 上也出現高額獎金的徵求資料科學家們提供破解 Deepfake 的解決方案。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*_BGv_DcDLMtDT4FO.png" /><figcaption>Kaggle Deepfake 偵測競賽</figcaption></figure><p>科研的一大發明，卻被濫用於製造虛假訊息與群體操縱，AI 技術與倫理的規範協調是我們需要省思與完善的過程，但同時社會大眾也需要培養對新型態犯罪的認知才能防範未然。</p><p>以下為 MIT media lab 所整理出的觀點，有助於科研人員以外的大眾也能增加對 Deepfake 虛假內容的判別敏感度。</p><ul><li>特別注意影片中的人臉，因為 Deepfake 幾乎都用於人臉的轉換。</li><li>注意影片中對象的臉頰和額頭，皮膚是否顯得太光滑或太皺？皮膚的老化與頭髮和眼睛的老化相似嗎？ Deepfakes 生成的結果在某些方面經常不一致。</li><li>注意眼睛和眉毛，亮部與陰影是否符合場景的樣貌？ Deepfake 通常無法完全完美呈現場景的自然物理特性。</li><li>請注意人物是否佩戴眼鏡，並且注意人物頭部移動時，眼鏡是否有產生反光？如同前一個案例，這是因為 Deepfake 通常無法完美呈現光照的自然物理特性。</li><li>注意臉部的毛髮，看起來真實嗎？ Deepfake 可能會添加或去除鬍鬚、鬢角或鬍鬚。但是 Deepfake 經常無法使面部毛髮轉變完全自然。</li><li>注意嘴唇的大小和顏色。大小和顏色是否與人臉的其他部分相匹配？</li></ul><p>美國華盛頓大學教授 Jevin West 和 Carl Bergstrom 設立了「<a href="https://www.whichfaceisreal.com/">WhichFaceIsReal.com</a>」，網站中會出現兩張人臉的照片，並請你選出哪一張才是真人的臉。在選擇的過程中能逐漸培養揪出假臉的判斷能力。</p><p>我們按照 MIT media lab 提供的觀點來實際應用並解析：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*aAXlw0OzBKtYuto6.jpeg" /><figcaption><a href="https://www.whichfaceisreal.com/">WhichFaceIsReal.com</a> 假臉解析</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*IfxESuItK_AmvPym.jpeg" /><figcaption><a href="https://www.whichfaceisreal.com/">WhichFaceIsReal.com</a> 假臉解析</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*47-OIbMvaw7AjP3q.jpeg" /><figcaption><a href="https://www.whichfaceisreal.com/">WhichFaceIsReal.com</a> 假臉解析</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*AU3ElzG5KJxJvfWL.jpeg" /><figcaption><a href="https://www.whichfaceisreal.com/">WhichFaceIsReal.com</a> 假臉解析</figcaption></figure><h3>關於我們</h3><p>「MetAI」是由 Metaverse 與 AI 融合而成的單字，同時意味著 Met (遇見) AI (人工智慧)，是以人工智慧以及元宇宙為主要研究主題的社群，立意在於推動創新科技應用以及產業數位轉型。</p><h3>關注我們</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/595/0*ROzmAhk1NwKi0tKr.png" /></figure><p>若我們的內容對您有幫助，請不吝幫我們分享、按讚。您的反饋會讓我們知道自己的內容方向是否有價值、能否做得更好，也讓更多需要的朋友也能獲得有用的知識。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=863a6c3a13e5" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[AI 領域你熟悉的辣個男人來了，GTC 2022 面向 AI 研究開發者不可錯過的 5 場議程！]]></title>
            <link>https://metai.medium.com/gtc-2022-%E9%87%8D%E7%A3%85%E4%BE%86%E8%A5%B2-%E9%9D%A2%E5%90%91-ai-%E7%A0%94%E7%A9%B6%E9%96%8B%E7%99%BC%E8%80%85%E4%B8%8D%E5%8F%AF%E9%8C%AF%E9%81%8E%E7%9A%84-4-%E5%A0%B4%E8%AD%B0%E7%A8%8B-eda6038b35fd?source=rss-b6674c9aa7d3------2</link>
            <guid isPermaLink="false">https://medium.com/p/eda6038b35fd</guid>
            <category><![CDATA[nvidia]]></category>
            <category><![CDATA[nlp]]></category>
            <category><![CDATA[ai]]></category>
            <category><![CDATA[deep-learning]]></category>
            <category><![CDATA[gtc]]></category>
            <dc:creator><![CDATA[MetAI 宇見智能科技]]></dc:creator>
            <pubDate>Tue, 15 Mar 2022 13:53:41 GMT</pubDate>
            <atom:updated>2022-03-15T17:15:19.972Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/630/1*5q_wVTThRJZ3um_mFl6yRg@2x.jpeg" /><figcaption>GTC 2022 Conversational AI</figcaption></figure><p>GTC 2022 將在本月 21 日展開為期四天的精彩演講，內容從元宇宙、自駕車、自然語言處理、電腦視覺、資料科學、高效能運算等等眼花撩亂。作者作為一位 AI 研究開發者，從中盤點出 5 場我們認為在 AI 領域中最需要知道及最具有挑戰性的議程，讓各位讀者了解這些頂尖的研究機構、企業是如何解決這些難題！</p><p>每年的 GTC 都會請到 AI 界的巨人們共襄盛舉，而今年自然也不例外，繼續看下去，你熟悉的辣個男人就是議程之一的講者。</p><p>以下為我們精選的 5 場 AI 重點議程：</p><ul><li>Insights from NVIDIA Research [S42013]</li><li>Conversational Commerce for the Next 500 million [S41564]</li><li>Expressive Neural Text-to-speech [S42646]</li><li>Big NLP Demystified: Business Impact of Large Language Models [S42016]</li><li>The Data-centric AI Movement [S42658]</li></ul><h3><strong>Insights from NVIDIA Research [S42013]</strong></h3><p>來自於 NVIDIA 研究的見解 [S42013]</p><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fwww.youtube.com%2Fembed%2FS7k-uWYqLt0%3Ffeature%3Doembed&amp;display_name=YouTube&amp;url=https%3A%2F%2Fwww.youtube.com%2Fwatch%3Fv%3DS7k-uWYqLt0&amp;image=https%3A%2F%2Fi.ytimg.com%2Fvi%2FS7k-uWYqLt0%2Fhqdefault.jpg&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=youtube" width="854" height="480" frameborder="0" scrolling="no"><a href="https://medium.com/media/1a65b0c14d2ad02ce1f356ee4bb41de7/href">https://medium.com/media/1a65b0c14d2ad02ce1f356ee4bb41de7/href</a></iframe><p>首先一定要聽的一定是 NVIDIA 自家的研究成果！在這場議程中，將由 <strong>NVIDIA 首席科學家 Bill Dally</strong> 為大家介紹目前最新的研究結果，主題涵蓋原宇宙、自駕車、AI 加速晶片、GPU 儲存技術，身為技術狂的你絕對不可以錯過！</p><h3><strong>Conversational Commerce for the Next 500 million [S41564]</strong></h3><p>面向五億人口的對話式商務平台[S41564]</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/730/1*Nt5Ia09Zpb1Dh-zcRAbUgQ.jpeg" /></figure><p>印度作為一個人口數 13.8 億的大國，其中約有 1.9 億人使用電子商務，開發一個聊天語音助理是必須的，但是印度擁有超過 26 種語言以及 1,000 多種方言，這對於自然語言處理模型來說是非常具有挑戰性的，我們認為這項任務的挑戰在於兩個：</p><ol><li><strong>超過 26 種語言的資料前處理的時間成本非常巨大，研究人員必須歸納出每種語言的文法規則，才能進行後續處理 (斷詞、停止詞等等)。</strong></li><li><strong>模型必須同時學習所有語言的文法規則以及方言邏輯。</strong></li></ol><p>來自於印度最大的電子商務 <strong>FlipKart</strong> 工程副總裁 <strong>Ganapathy Krishnan</strong> 將為我們介紹最新推出的專門回答產品問題的聊天語音助理，並深入討論團隊如何設計方法、克服遇到的挑戰以及在應用人工智能技術方面的經驗教訓。</p><h3><strong>Expressive Neural Text-to-speech [S42646]</strong></h3><p>富有情感的文字至語音神經網路 [S42646]</p><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fwww.youtube.com%2Fembed%2FiAZSPzfq3F8%3Ffeature%3Doembed&amp;display_name=YouTube&amp;url=https%3A%2F%2Fwww.youtube.com%2Fwatch%3Fv%3DiAZSPzfq3F8&amp;image=https%3A%2F%2Fi.ytimg.com%2Fvi%2FiAZSPzfq3F8%2Fhqdefault.jpg&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=youtube" width="854" height="480" frameborder="0" scrolling="no"><a href="https://medium.com/media/39457e8f0475d029f19278547616a128/href">https://medium.com/media/39457e8f0475d029f19278547616a128/href</a></iframe><p>目前在自然語言處理的主要研究方向為 Conversational AI，旨在建立一個可對話交流的 AI 模型，最終目標是能夠與人流暢的對談，在這其中有一項技術稱為 Text-to-speech，其目標為讓神經網路學會講一段句子，如上影片為 NVIDIA 最新的 Conversational AI 系統 Riva。<strong>要讓神經網路學會講一段話目前來說很簡單，但是要跟人類一樣栩栩如生就非常具有挑戰性</strong>，例如一句話要教會模型分別以開心以及難過的語氣來表達。</p><p>來自於 <strong>Amazon</strong> 的 AI 研究學者 <strong>Andrew Breen</strong> 將為大家介紹 <strong>Amazon</strong> 的語音服務 <strong>Alexa</strong>，解釋如何讓 AI 生成的語音聽起來更加自然，展示了過去五年的進展、方法以及未來的技術挑戰與方向。</p><h3><strong>Big NLP Demystified: Business Impact of Large Language Models [S42016]</strong></h3><p>揭秘大型 NLP 模型: 大型語言模型帶來的商業影響 [S42061]</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*1JM2nvURtUIj2tgLs7anCQ.png" /><figcaption>Language Model: BERT, RoBERTa, Megatron</figcaption></figure><p>在過去一年裡，語言模型以及資料集的規模飛速的增長，從最初 Google 的 BERT 到現在 NVIDIA 的 Megatron，訓<strong>練成本動輒幾百萬美元，為何這些企業願意投資這些語言模型，這些語言模型到底帶來什麼效益</strong>？</p><p>在這個議程中，將由 NVIDIA 高級資料科學家 Adam Henryk Grzywaczewski 與大家討論開發大型語言模型的基本原理，並提出為何企業願意投資訓練這些語言模型以及其帶來的影響。另外還展示這些模型的小樣本學習 (Few-shot Learning) 能力有多強大。</p><h3>The Data-centric AI Movement [S42658]</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/452/1*geovdxbYT-xkjYnasWBtKA.png" /><figcaption>吳恩達</figcaption></figure><p>本議程可說是最重要的看點之一，因為講者是世界知名的 AI 專家『吳恩達』。他是史丹福大學計算機科學系和電氣工程系的客座教授，曾任斯坦福人工智慧實驗室主任。</p><p>以數據為中心的 AI 是一項不斷發展的運動，它將 AI 系統的工程重點從模型轉移到數據。然而，以數據為中心的人工智能面臨著許多開放性挑戰，包括測量數據質量、數據迭代和工程數據作為機器學習項目工作流程的一部分、數據管理工具、眾包、數據增強和合成，以及負責任的人工智能。</p><p>我們將解釋以數據為中心的人工智能的關鍵支柱，確定以數據為中心的人工智能運動的趨勢，並設定一個願景，將專家們的想法整合到工具中，使應用程序為所有人系統化。 Bryan Catanzaro 將在本次會議結束時主持與 Andrew Ng 的問答討論。</p><h4>關於 NVIDIA GPU 技術大會 (GTC)，您需要知道的事！</h4><p>GTC 大會是開發者和企業領導者向全球頂尖創新人員、科學家與研究人員，學習並進一步了解人工智慧、加速運算與電腦繪圖領域最新進展的年度會議。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*eC33lZY_kjXr55jkCeJZhg.png" /></figure><p>來自新創公司、學術界與大型企業的演講者將齊聚 GTC，為與會者提供前沿技術、成功案例分享與技術解析， GTC 是開放且全球各地的人們皆可參與的免費線上活動。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*qJZ7pLhAS_B7gs9dphluQA.png" /><figcaption>GTC 2022 活動亮點一覽</figcaption></figure><h4>如何報名參加 GTC 2022？</h4><p>任何人都可以參加於 3/21–3/24 所舉行的 GTC 2022，我們將示範如何快速完成報名、搜尋有興趣的議程、加入議程到行事曆。</p><ol><li>掃描 QR code 邀請碼，或點此『<a href="https://www.nvidia.com/zh-tw/gtc?ncid=partn-650070">連結</a>』進入報名頁面</li></ol><figure><img alt="" src="https://cdn-images-1.medium.com/max/756/1*fc5bBrWfS5gz5pE8HQylqg.png" /></figure><p>2. 點選免費報名，任選一個按鍵點擊即可</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*-kmqdxyrVpzKwNrY_FB27w.png" /></figure><p>3. 完成註冊，瀏覽議程</p><p>完成註冊後，讀者將會進入 GTC 2022 的確認註冊頁面，由此我們可以進入 GTC 2022 的活動頁面，開始查看所有議程以及加入自己的行事曆當中。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/914/1*l-fsYqOZQWQZedWThk1peA.png" /><figcaption>完成報名的頁面，從『View Catalog』進入活動議程清單</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/907/1*xWO5uBfPt7DB-hv0SbTQYw.png" /><figcaption>查找議程與加入行事曆</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/928/1*Vd4knbUzHSb4HqGVFxFQSg.png" /><figcaption>個人行事曆與預定之議程</figcaption></figure><h4>關於我們</h4><p>「MetAI」是由 Metaverse 與 AI 融合而成的單字，同時意味著 Met (遇見) AI (人工智慧)，是以人工智慧以及元宇宙為主要研究主題的社群，立意在於推動創新科技應用以及產業數位轉型。</p><h4>關注我們</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/595/1*eQMug2bCge8lQvrIHWhJug.png" /></figure><p>若我們的內容對您有幫助，請不吝幫我們分享、按讚。您的反饋會讓我們知道自己的內容方向是否有價值、能否做得更好，也讓更多需要的朋友也能獲得有用的知識。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=eda6038b35fd" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[元宇宙技術跨足醫療領域：盤點 GTC 2022 五個元宇宙、AI 應用於醫療領域的創新應用案例與議程]]></title>
            <link>https://metai.medium.com/%E5%8E%9F%E5%AE%87%E5%AE%99%E6%8A%80%E8%A1%93%E8%B7%A8%E8%B6%B3%E9%86%AB%E7%99%82%E9%A0%98%E5%9F%9F-%E7%9B%A4%E9%BB%9E-gtc-2022-%E4%BA%94%E5%80%8B%E5%85%83%E5%AE%87%E5%AE%99-ai-%E6%87%89%E7%94%A8%E6%96%BC%E9%86%AB%E7%99%82%E9%A0%98%E5%9F%9F%E7%9A%84%E5%89%B5%E6%96%B0%E6%87%89%E7%94%A8%E6%A1%88%E4%BE%8B%E8%88%87%E8%AD%B0%E7%A8%8B-d0ffd15f1140?source=rss-b6674c9aa7d3------2</link>
            <guid isPermaLink="false">https://medium.com/p/d0ffd15f1140</guid>
            <dc:creator><![CDATA[MetAI 宇見智能科技]]></dc:creator>
            <pubDate>Tue, 15 Mar 2022 09:57:20 GMT</pubDate>
            <atom:updated>2022-03-15T16:02:18.457Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/864/0*hwUAesMiuA1lQxMi.jpg" /></figure><p>將要在本月下旬展開的 GTC 2022 ，有多達 900 多個來自各行各業創新應用與成功案例的議程，其中也包含台灣最引以為傲的醫療產業。</p><p>我們從 GTC 2022 預先公佈之議程當中，盤點出五個我們認為創新與前瞻性的議程，帶領讀者看看來自全世界的產業菁英都在發展什麼、從中獲得啟發。</p><h3>我們推薦的五個醫療相關議程</h3><ul><li>Digital Twin Environment for Enhanced Surgical Health-care Platform [P42553]</li><li>Connect with the Experts: In Silico Drug Discovery and Natural Language Processing for Life Sciences [CWE42176]</li><li>A Next-generation Clinical Language Model [S41638]</li><li>Explainable COVID-19 Detection in Chest X-rays using an End-to-end Deep Convolutional Neural Network Architecture [P41280]</li><li>Clara Holoscan: AI Platform for Medical Devices [SE2184]</li></ul><h3>Digital Twin Environment for Enhanced Surgical Health-care Platform [P42553]</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*bcq3arK7aNr3Tepkx-6iaQ.jpeg" /></figure><p><strong>推薦指數：✶✶✶✶✶</strong></p><p>本議程是我們認為最前衛的場次，也是少數融合元宇宙相關技術的醫療創新案例之一。</p><p>自深度學習時代以來，許多基於人工智慧的技術被引入醫療保健領域。其中基於人工智能技術的自動化，特別是對於手術醫療平台，有著巨大的潛力。</p><p>來自南韓醫療新創機構 <strong>Hutom</strong> 的研究員 <strong>Min-Kook Choi</strong>，將在此議程上分享如何在手術過程中獲得的術前診斷數據結合手術中的影片數據，創造出患者的身體器官在元宇宙世界的數位分身（數位孿生）、進行虛實同步。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*IVF1SFWkbesQ86t9YPkGsQ.png" /><figcaption>運用數位孿生，進行手術模擬、研究</figcaption></figure><p>數位孿生環境的應用多元，例如：手術指引與手術分析。並且，<strong>Hutom </strong>也對數位孿生應用於手術場景理解進行了驗證，是既創新又實用的一個成功案例。</p><h3>Connect with the Experts: In Silico Drug Discovery and Natural Language Processing for Life Sciences [CWE42176]</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/890/0*43g6G2gn9C4iUSB7.png" /></figure><p><strong>實用指數：✶✶✶✶</strong></p><p>化學和生物學中的計算方法改變了早期的藥物開發。篩選化合物、生成新分子、可視化 3-D 蛋白質，都受益於高速計算和深度學習 AI 模型而有長足的進步。</p><p>參加此議程的觀眾可以向數據科學家、計算化學家、計算生物學家和其他生命科學專家了解如何進行虛擬篩選、分子動力學、模擬、3D 蛋白質預測、蛋白質工程。</p><p>同時，本議程也將探討自然語言處理於醫學文本的應用。無論是來自研究文獻還是臨床記錄，幾乎所有的生物醫學和臨床知識都包含在自由文本信息中。使用自然語言處理提取和構建這些文本信息，對獲得洞察力和做出預測非常重要。</p><p>在此議程下半段 NVIDIA 團隊將介紹上述的技術如何以現行的 AI 工具付諸實踐，並且在議程的結尾能夠與講座專家進行即時諮詢（諮詢有席次限制，採<strong>一對一</strong>「或」<strong>小組</strong>進行，先參加者先獲得席次）。</p><h3>A Next-generation Clinical Language Model [S41638]</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/398/0*js9N9uc_ObQQ6_B-.png" /></figure><p><strong>前瞻指數：✶✶✶✶</strong></p><p>本議程的講者 Yonghui Wu 是有多重身份的專家，他是佛羅里達大學臨床與轉化科學研究所和 OneFlorida 臨床研究聯盟自然語言處理主任、美國國立衛生研究院資助的首席研究員。他的的研究包括自然語言處理、機器學習和藥物再利用，總計發表 70 多篇經過同行評審的論文。</p><p>自然語言處理具有將文字探勘自動化以創造極大價值的潛力，最先進的自然語言處理技術可以從龐大的文字資料語料庫中建立大型的知識圖譜。之後，可以從強大的語意搜尋工具開始，將這些知識圖譜使用在多個任務中。</p><p>Yonghui Wu 在佛羅里達大學擴展他們在大型臨床自然語言處理方面的業務，開發基於目前最強自然語言處理模型『Transformer』的下一代臨床語言模型。</p><p>在本議程中，聽眾今跟著 Yonghui Wu 回顧 Transformer 的新技術在科學創新的能力、它與以前的臨床語言建模工作的比較，以及這些模型在醫療保健環境中帶來的機會。</p><h3>Explainable COVID-19 Detection in Chest X-rays using an End-to-end Deep Convolutional Neural Network Architecture [P41280]</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*LsoqBtXM9d2Sjngp.png" /></figure><p><strong>實用指數：✶✶✶✶✶</strong></p><p>在深度學習發展的初期曾被譽為黑盒子，因為我們難以知曉模型模型學習到什麼、如何做出決定。但是如果人工智慧的應用要在各個領域落地，例如：保險自動化處理理賠流程、在醫療協助醫生診斷、在金融業判斷投資策略的優劣，都會需要知道模型判斷的依據。</p><p>由於上述的情事，可解釋的人工智慧（Explainable AI）在近年來越來越被關注的議題，從 <a href="http://arxiv.org/abs/1708.08296">Samek et al</a> 的研究當中我們能看出幾個重要的原因：</p><ul><li><strong>驗證系統的合理性</strong>（verification of the system）</li><li><strong>系統能夠被改善</strong>（improvement of the system）</li><li><strong>能從系統中學習</strong>（learning from the system）</li><li><strong>符合法規要求</strong>（compliance to legislation）</li></ul><p>在本議程當中，<a href="https://baike.baidu.hk/item/%E8%92%99%E5%85%8B%E9%A0%93%E5%A4%A7%E5%AD%B8/8652335">蒙克頓大學</a>的教授與研究者將會展示了一個使用胸部 X 光片檢測 COVID-19 的『可解釋』深度學習模型，對於想要發展智慧醫療應用的讀者是非常實用的議程。</p><h3>Clara Holoscan: AI Platform for Medical Devices [SE2184]</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*66nSzpJMLCVtIsl-vvTWwQ.png" /></figure><p><strong>前瞻指數：✶✶✶✶</strong></p><p>任何 AI 的開發都需要軟體、硬體大量的系統整合，例如：儀器連網、模型推論、數據串流、視覺化…等等，從開發到驗證將是非常巨大的工程。</p><p>為此 NVIDIA 開發 NVIDIA Clara Holoscan，這是一個面向 AI 智慧醫療的運算平台，它整合緊密的軟硬體系統，包含：</p><ul><li>低延遲傳感器和物聯網硬體系統</li><li>效率優化的資料處理和人工智慧推理流程</li><li>推理資料的串流與視覺化</li><li>從嵌入式到邊緣運算再到雲端的微服務</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*mRdp1aqyjEh9BBY0r7Auog.png" /></figure><p>Clara Holoscan 已被許多醫療組織採用，應用於許多任務。在此議程當中，讀者將隨 NVIDIA 的團隊一起探索 Clara Holoscan 的功能，了解其對智慧醫療開發的優勢、從這個完整的軟硬體系統當中獲得更多靈感。</p><h3>關於 NVIDIA GPU 技術大會 (GTC)，您需要知道的事！</h3><p>GTC 大會是開發者和企業領導者向全球頂尖創新人員、科學家與研究人員，學習並進一步了解人工智慧、加速運算與電腦繪圖領域最新進展的年度會議。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*k0l4BB05sJ-flLyqtwQn6g.png" /></figure><p>來自新創公司、學術界與大型企業的演講者將齊聚 GTC，為與會者提供前沿技術、成功案例分享與技術解析， GTC 是開放且全球各地的人們皆可參與的免費線上活動。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*sw5Eac4s8-TWGufT3TqrGw.png" /><figcaption>頂尖的講者陣容，分享</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*yAlBpTUGY6jBib4hrBvfRA.png" /><figcaption>GTC 2022 活動亮點一覽</figcaption></figure><h3>如何報名參加 GTC 2022？</h3><p>任何人都可以參加於 3/21–3/24 所舉行的 GTC 2022，我們將示範如何快速完成報名、搜尋有興趣的議程、加入議程到行事曆。</p><ol><li><strong>掃描 QR code 邀請碼，或點此『</strong><a href="https://www.nvidia.com/zh-tw/gtc?ncid=partn-650070"><strong>連結</strong></a><strong>』進入報名頁面</strong></li></ol><figure><img alt="" src="https://cdn-images-1.medium.com/max/756/1*5oFJLb4JSaNFZOpDAgGQZA.png" /></figure><p><strong>2. 點選免費報名，任選一個按鍵點擊即可</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*04reTRtqpUwJS3CibfK5gA.png" /></figure><p><strong>3. 完成註冊，瀏覽議程</strong></p><p>完成註冊後，讀者將會進入 GTC 2022 的確認註冊頁面，由此我們可以進入 GTC 2022 的活動頁面，開始查看所有議程以及加入自己的行事曆當中。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/914/1*-zeP_gH7y7hCKP18GIFC-Q.png" /><figcaption>完成報名的頁面，從『View Catalog』進入活動議程清單</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/907/1*MH0-htcP5wBjhU0H5pVY9g.png" /><figcaption>查找議程與加入行事曆</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/928/1*7p5do5P43AOzdsYeVJDy7w.png" /><figcaption>個人行事曆與預定之議程</figcaption></figure><h3>關於我們</h3><p>「MetAI」是由 Metaverse 與 AI 融合而成的單字，同時意味著 Met (遇見) AI (人工智慧)，是以人工智慧以及元宇宙為主要研究主題的社群，立意在於推動創新科技應用以及產業數位轉型。</p><h3>關注我們</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/595/1*x48LOz12Fda8QDYM7R1Vmg.png" /></figure><p>若我們的內容對您有幫助，請不吝幫我們分享、按讚。您的反饋會讓我們知道自己的內容方向是否有價值、能否做得更好，也讓更多需要的朋友也能獲得有用的知識。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=d0ffd15f1140" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[元宇宙降臨 GTC 2022！ 盤點五個開發者要開始元宇宙應用不能錯過的議程！！]]></title>
            <link>https://metai.medium.com/%E5%85%83%E5%AE%87%E5%AE%99%E9%99%8D%E8%87%A8-gtc-2022-%E7%9B%A4%E9%BB%9E%E4%BA%94%E5%80%8B%E9%96%8B%E7%99%BC%E8%80%85%E8%A6%81%E9%96%8B%E5%A7%8B%E5%85%83%E5%AE%87%E5%AE%99%E6%87%89%E7%94%A8%E4%B8%8D%E8%83%BD%E9%8C%AF%E9%81%8E%E7%9A%84%E8%AD%B0%E7%A8%8B-7478530d4564?source=rss-b6674c9aa7d3------2</link>
            <guid isPermaLink="false">https://medium.com/p/7478530d4564</guid>
            <category><![CDATA[nvidia]]></category>
            <category><![CDATA[metaverse]]></category>
            <category><![CDATA[omniverse]]></category>
            <category><![CDATA[gtc2022]]></category>
            <category><![CDATA[digital-twin]]></category>
            <dc:creator><![CDATA[MetAI 宇見智能科技]]></dc:creator>
            <pubDate>Fri, 11 Mar 2022 07:05:01 GMT</pubDate>
            <atom:updated>2022-03-12T11:52:03.365Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*NjwD0dByHKTT8k1h0xCp-w.png" /><figcaption>GTC 2022 元宇宙相關技術議程</figcaption></figure><p>筆者日前獲邀到論壇上進行『元宇宙、數位孿生與 AI 開發』主題短講，獲得與會者的熱烈反響，不少開發者身份的與會者都想要入門元宇宙、數位孿生、基於虛擬實境模擬的 AI 開發…等等，希望透過這些技術可以帶來業務的創新。</p><p>元宇宙話題已經熱了大半年，我們卻很難看到資源幫助我們入門、開始開發相關的應用。幸好，即將要舉辦的 『<strong>GTC 2022』</strong> 打開了一道大門，滿滿的相關議程引領引頸期盼的開發者們得以真正進入元宇宙的世界。</p><p>從元宇宙的<strong>基礎觀念、實做解析</strong>，再到世界前沿的<strong>成功應用案例</strong>，我們整理出 <strong>5</strong> 個開發者想要入門元宇宙應用開發所必聽的議程。</p><h3>【必看議程一】Exploring USD: The HTML for 3D Virtual World [S42112] &amp; A Vision of the Metaverse: How We will Build Connected Virtual Worlds [S42114]</h3><p>探索 USD：3D 虛擬世界的 HTML [S42112] &amp; Metaverse 的願景：我們將如何構建連接的虛擬世界 [S42114]</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*zDg_bclmEXpVN-t7E-m91Q.png" /><figcaption>探索通用場景描述：虛擬世界的基石</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*kG_Qce2AafASiU6TeLYUHw.png" /><figcaption>如何建立共享的虛擬世界：</figcaption></figure><p>我們特別推薦這兩場『連貫的』議程給讀者作為進入元宇宙的起點，由全球元宇宙未來學家和傑出人物組成的議程，傾聽他們對元宇宙的願景，它將給我們帶來什麼潛力，以及在短期內需要做什麼來建立基礎。</p><p>USD 是 Universal Scene Description 的縮寫，譯為通用場景描述、是皮克斯電影工作室開發用於 3D 動畫的創新技術，著重於 3D 動畫數據的交換以及協作。USD 的協作特性，是元宇宙不可或缺的基礎，網路之於 html 就像元宇宙之於 USD 的關係。</p><p>作為其中一個案例，我們將看到位於美國的 Ipolog，示範如何使用元宇宙協作平台 Omniverse 打造進階的元宇宙應用，與遠在德國的 BMW 進行合作。如：虛擬辦公室、智慧工廠…等等。</p><p>疫情之下，許多生活方式被迫改變，遠端工作變成主流。Ipolog 建造元宇宙世界裡的辦公空間，連結身處各國的人士實時協作。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Sri4TGd6_BP7peOhSDwRUQ.png" /><figcaption>元宇宙協作平台打造虛擬辦公空間，連結來自不同國度的工作者</figcaption></figure><p>GTC 2021 上 BMW 使用數位孿生，模擬整座組裝工廠的成功案例震撼了製造業的同業，今年我們將再進一步看到更全面、細節的技術解析。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*RUdFRs4yCv_Gjhn5.jpg" /></figure><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fwww.youtube.com%2Fembed%2Fb1qzKy48zKo%3Fstart%3D2%26feature%3Doembed%26start%3D2&amp;display_name=YouTube&amp;url=https%3A%2F%2Fwww.youtube.com%2Fwatch%3Fv%3Db1qzKy48zKo&amp;image=https%3A%2F%2Fi.ytimg.com%2Fvi%2Fb1qzKy48zKo%2Fhqdefault.jpg&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=youtube" width="854" height="480" frameborder="0" scrolling="no"><a href="https://medium.com/media/77dcc42232a8837df74deef553091197/href">https://medium.com/media/77dcc42232a8837df74deef553091197/href</a></iframe><h3>【必看議程二】Fundamentals od USD for Collaborative 3D Workflows [DLIT1866]</h3><p>用於協作 3D 工作流程的 USD 基礎知識 [DLIT1866]</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*6Z496G3TTG1K12hB.jpg" /></figure><p>兩小時面對開發者的手把手課程，介紹元宇宙世界的組成基礎：通用場景描述(Universal Scene Description) 的相關知識。什麼是通用場景、如何使用 、立用 <strong>Jupyter notebook</strong> 與 <strong>Python</strong> 創造 USD。</p><p>開發者將藉由此手把手課程，將學習到重要的知識，為日後的元宇宙開發應用打下重要的基礎。</p><h3>【必看議程三】A Primer on Materials for NVIDIA Omniverse [S41192]</h3><p>NVIDIA Omniverse 材質入門 [S41192]</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*8M899Isg3f2w6MPRmzvQTQ.png" /><figcaption>議程資訊</figcaption></figure><p>已具備場景描述的基本知識後，賦予了我們再造一個現實的可能性，下一步則是如何讓我們所創造的現實貼近於真實。實現此目的，材質與燈光是要點。從下面的例子我們可以比較差異性：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/798/0*bKhsb8LbOUGeF1lT.jpg" /><figcaption>擬真度教低的數位孿生</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ZBVkyE8QFJ-ZCJJ33Fcwew.png" /><figcaption>真實場景（左）VS 高擬真數位孿生（右）</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ydHkBcSlHzdSIYQEOEUYDw.png" /><figcaption>真實場景（左）VS 高擬真數位孿生（右）</figcaption></figure><p>本議程探索如何在 Omniverse 當中製作高真實度的物體表面材質，包含 PBR（Physically Based Rendering） 、3D 貼圖軟體的協作，並且展示與 Autodesk 與 ILM 頂級電影業界合作的專案 Material X。</p><p>讀者將會了解實現高擬真材質的設置方法，對未來製作數位孿生是不可或缺的知識點。</p><h3>【必看議程四】Synthetics Data Generation using the Omniverse Replicator SDK [S41581]</h3><p>使用 Omniverse Replicator SDK 生成合成數據 [S41581]</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*XWm9YI4A3c18qZ0ZjdQ-lg.png" /><figcaption>議程資訊</figcaption></figure><p>探討 Omniverse 如何與 AI 開發結合，用模擬產生新的火花，應用於不同的領域，如：機器人、自駕車…等等。Omniverse Replicator 是資料產生器，讓我們在創造的虛擬世界當中自動產生兼具多樣性與多變性的資料。</p><p>涵蓋的主題包括應用結構化域隨機化來生成通用描述場景、在虛擬 3D 世界中模擬各種傳感器（sensors）的資料，以及為產生各種類型的標籤資料用於 AI 開發。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*YA5VDFEfD5ZUnhWB.png" /><figcaption>合成資料產生</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*O7cMqZuouvUmZzR6jooaaA.png" /><figcaption>各種傳感器（sensors）資料生成</figcaption></figure><h3>【必看議程五】Isaac Sim and Isaac Gym [S41581]</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*1loqjkkJ3uJHXUD7-ci4eg.png" /></figure><p>Isaac Sim 是一面向機器人開發與模擬的框架，提供虛擬感測器與合成資料蒐集還有機器人相關演算法，是一個常被使用於數位孿生應用的框架。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*kxK27lJGGigjeoxo.gif" /></figure><p>在此議程當中將深入研究新的任務系統以演示如何設置大規模的並行強化學習訓練。此外，我們將展示如何使用多個 GPU 來訓練更複雜的 RL 代理，並提供有關 RL 訓練的 Sim-to-Real 方面的更新，展示在模擬中學習的策略如何在現實世界的機器人上進行佈署。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*JfSbkW5HpUU8HyxDx94U1A.png" /></figure><h3>關於 NVIDIA GPU 技術大會 (GTC)，您需要知道的事！</h3><p>GTC 大會是開發者和企業領導者向全球頂尖創新人員、科學家與研究人員，學習並進一步了解人工智慧、加速運算與電腦繪圖領域最新進展的年度會議。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*k0l4BB05sJ-flLyqtwQn6g.png" /></figure><p>來自新創公司、學術界與大型企業的演講者將齊聚 GTC，為與會者提供前沿技術、成功案例分享與技術解析， GTC 是開放且全球各地的人們皆可參與的免費線上活動。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*sw5Eac4s8-TWGufT3TqrGw.png" /><figcaption>頂尖的講者陣容，分享</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*yAlBpTUGY6jBib4hrBvfRA.png" /><figcaption>GTC 2022 活動亮點一覽</figcaption></figure><h3>如何報名參加 GTC 2022？</h3><p>任何人都可以參加於 3/21–3/24 所舉行的 GTC 2022，我們將示範如何快速完成報名、搜尋有興趣的議程、加入議程到行事曆。</p><ol><li><strong>掃描 QR code 邀請碼，或點此『</strong><a href="https://www.nvidia.com/zh-tw/gtc?ncid=partn-650070"><strong>連結</strong></a><strong>』進入報名頁面</strong></li></ol><figure><img alt="" src="https://cdn-images-1.medium.com/max/756/1*5oFJLb4JSaNFZOpDAgGQZA.png" /></figure><p><strong>2. 點選免費報名，任選一個按鍵點擊即可</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*04reTRtqpUwJS3CibfK5gA.png" /></figure><p><strong>3. 完成註冊，瀏覽議程</strong></p><p>完成註冊後，讀者將會進入 GTC 2022 的確認註冊頁面，由此我們可以進入 GTC 2022 的活動頁面，開始查看所有議程以及加入自己的行事曆當中。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/914/1*-zeP_gH7y7hCKP18GIFC-Q.png" /><figcaption>完成報名的頁面，從『View Catalog』進入活動議程清單</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/907/1*MH0-htcP5wBjhU0H5pVY9g.png" /><figcaption>查找議程與加入行事曆</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/928/1*7p5do5P43AOzdsYeVJDy7w.png" /><figcaption>個人行事曆與預定之議程</figcaption></figure><h3>延伸閱讀</h3><p>想要了解業界對數位孿生的看法與觀點嗎？請看我們所製作的內容，我們將介紹創建數位孿生應用的心法與現行工具！</p><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fwww.youtube.com%2Fembed%2Fq1m3qVITMd0%3Ffeature%3Doembed&amp;display_name=YouTube&amp;url=https%3A%2F%2Fwww.youtube.com%2Fwatch%3Fv%3Dq1m3qVITMd0&amp;image=https%3A%2F%2Fi.ytimg.com%2Fvi%2Fq1m3qVITMd0%2Fhqdefault.jpg&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=youtube" width="854" height="480" frameborder="0" scrolling="no"><a href="https://medium.com/media/bd02a7dcedf49f2c85612c96c5270b84/href">https://medium.com/media/bd02a7dcedf49f2c85612c96c5270b84/href</a></iframe><h3>關於我們</h3><p>「MetAI」是由 Metaverse 與 AI 融合而成的單字，同時意味著 Met (遇見) AI (人工智慧)，是以人工智慧以及元宇宙為主要研究主題的社群，立意在於推動創新科技應用以及產業數位轉型。</p><h3>關注我們</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/595/1*x48LOz12Fda8QDYM7R1Vmg.png" /></figure><p>若我們的內容對您有幫助，請不吝幫我們分享、按讚。您的反饋會讓我們知道自己的內容方向是否有價值、能否做得更好，也讓更多需要的朋友也能獲得有用的知識。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=7478530d4564" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>