<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Darley Roque Soares on Medium]]></title>
        <description><![CDATA[Stories by Darley Roque Soares on Medium]]></description>
        <link>https://medium.com/@darleysoares?source=rss-b26f1813e63c------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*-NOIZv5ogoEu2KSdlueKSw@2x.jpeg</url>
            <title>Stories by Darley Roque Soares on Medium</title>
            <link>https://medium.com/@darleysoares?source=rss-b26f1813e63c------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Sat, 21 Nov 2026 23:41:03 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@darleysoares/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Executando modelos de Machine Learning, desenvolvidos em Python, de forma distribuída no PySpark]]></title>
            <link>https://darleysoares.medium.com/executando-modelos-de-machine-learning-desenvolvidos-em-python-de-forma-distribu%C3%ADda-no-pyspark-e936da33b1de?source=rss-b26f1813e63c------2</link>
            <guid isPermaLink="false">https://medium.com/p/e936da33b1de</guid>
            <category><![CDATA[python]]></category>
            <category><![CDATA[data-engineering]]></category>
            <category><![CDATA[spark]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[sklearn]]></category>
            <dc:creator><![CDATA[Darley Roque Soares]]></dc:creator>
            <pubDate>Wed, 21 Jun 2023 23:15:20 GMT</pubDate>
            <atom:updated>2023-06-21T23:15:20.470Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*dAreH5wvR3Ub5Dc22ir8MA.jpeg" /></figure><p>Quando se fala em Aprendizado de Máquina (Machine Learning) algumas ferramentas que vêm em mente são a linguagem de programação Python e as bibliotecas Numpy, Pandas e Sklearn. Essa junção é muito poderosa, podendo resultar em modelos com alta acurácia e eficiência, entretanto, caso seja necessário executar o modelo para datasets muito grandes isso pode se tornar um problema, demorando muito tempo para executar.</p><p>Com o aumento da volumetria dos dados, devido o advento do Big Data, a utilização de técnicas não distribuídas podem afetar muito o tempo de execução devido utilizar somente uma máquina e necessitar de todos os dados em memória para realizar as transformações, pré processamentos e predições. Porém, o PySpark é uma API Python do Spark, na qual permite a execução dessas operações de forma distribuída e utilizando a memória de forma otimizada, ou seja, usando diversas máquinas paralelamente.</p><p>Atualmente, já existe uma biblioteca escalável desenvolvida pela Apache Spark para Machine Learning, chamada MLLib. Entretanto, muitas vezes o modelo já foi desenvolvido por um Cientista de Dados que possui conhecimento em Python e não em PySpark e necessita que seu modelo seja executado em alta escala.</p><p>Para isso, pode-se utilizar um recurso do PySpark conhecido como Pandas UDF, basicamente foi introduzido nas versões superiores ao Spark 2.3 visando melhorar o desempenho e usabilidade de funções definidas pelo usuário (UDF’s) em Python, executando as operações de forma vetorizada.</p><p>Como as UDF’s são executadas linha por linha apresentam problemas de alta serialização e sobrecarga, logo muitas vezes o Engenheiro de Dados acaba resolvendo esse problema definindo suas UDF’s em Java ou Scala e invocando-as a partir do Python. As Pandas UDF’s vieram para resolver esse problema, construídas baseadas em Apache Arrow oferecem baixo custo e alto desempenho totalmente em Python.</p><p>Como dito anteriormente seu funcionamento é vetorizado, logo o Spark por padrão particiona o DataFrame em diversos pacotes (10.000 registros) e envia esses dados como uma array (Series Pandas) para a função executar. Assim, dentro da função deve-se pensar que existe um conjunto de linhas e não uma função que será aplicada linha a linha.</p><p>Visando facilitar sua implementação, com um modelo já construído e salvo em um arquivo pickle é possível reconstruir o objeto do Sklearn, XGBoost ou etc devido estar serializado em bytes. No exemplo abaixo foram criadas duas classes para realizar duas etapas importantes do processo de predição de um modelo de Machine Learning: pré processamento e predição.</p><p>Na etapa de pré processamento dos dados pensa-se nos métodos disponíveis no módulo preprocessing do Sklearn (exemplo StandardScaler, MinMaxScaler, MaxAbsScaler, Normalizer e etc). Portanto, na classe apresentada abaixo é realizada a transformação e criação de um nova coluna, do tipo array com os valores normalizados/padronizados, a partir das colunas informadas como argumento no método preprocessing.</p><pre>import pickle<br>from typing import List<br>from pyspark.sql.dataframe import DataFrame<br>from pyspark.sql.types import ArrayType, FloatType<br>from pyspark.sql.functions import array, col, pandas_udf<br><br>class PreProcessing():<br><br>    def __init__(self, name: str) -&gt; None:<br>        self.scaler = pickle.load(open(name, &#39;rb&#39;))<br><br>    def preprocessing(self, df: DataFrame, columns: List[str]) -&gt; DataFrame:<br><br>        import pandas as pd<br><br>        @pandas_udf(ArrayType(FloatType()))<br>        def udf_preprocessing(samples: pd.Series) -&gt; pd.Series:<br><br>            return pd.Series(<br>                [<br>                    self.scaler.transform([sample]).reshape(1, -1)[0]<br>                for sample in samples<br>                ]<br>            )<br><br>        return (<br>            df<br>            .withColumn(&quot;features_preprocessing&quot;, array(*columns))<br>            .withColumn(<br>                &quot;features_preprocessing&quot;,<br>                udf_preprocessing(col(&quot;features_preprocessing&quot;))<br>            )<br>        )<br><br>df_preprocessed = (<br>    PreProcessing(&quot;scaler.sav&quot;)<br>    .preprocessing(df, [&quot;column_1&quot;, &quot;column_2&quot;])<br>)</pre><p>No exemplo abaixo as colunas column_1 e column_2 passaram por uma pré processamento utilizando o método StandardScaler, assim foi gerada a coluna features_preprocessing contendo os valores das duas colunas padronizadas.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/430/1*B5A5PoHeju4DqAaJPco_2g.png" /></figure><p>Já na etapa de predição pensa-se nos modelos de classificação, regressão e etc do Sklearn (exemplo LinearRegression, KNeighborsClassifier, LogisticRegression, RandomForestClassifier e etc). Aqui existe uma pequena diferenciação para modelos de regressão e classificação, para os modelos de regressão é retornado somente um valor float, entretanto, para modelo de classificação pode-se interessar a qual classe ele pertence ou a maior porcentagem de chance de pertencer a classe classificada, assim é retornado a classe e a porcentagem de pertencer a ela.</p><pre>import pickle<br>from pyspark.sql.dataframe import DataFrame<br>from pyspark.sql.types import ArrayType, FloatType<br>from pyspark.sql.functions import array_max, col, expr, pandas_udf<br><br><br>class Predict():<br><br>    def __init__(self, name: str) -&gt; None:<br>        self.model = pickle.load(open(name, &#39;rb&#39;))<br><br>    def predict(self, df: DataFrame) -&gt; DataFrame:<br><br>        import pandas as pd<br><br>        @pandas_udf(FloatType())<br>        def udf_predict(samples: pd.Series) -&gt; pd.Series:<br>            return pd.Series(<br>                self.model.predict([sample])[0][0] for sample in samples<br>            )<br><br>        @pandas_udf(ArrayType(FloatType()))<br>        def udf_predict_classifier(samples: pd.Series) -&gt; pd.Series:<br>            return pd.Series(<br>                self.model.predict([sample])[0] for sample in samples<br>            )<br><br>        if &quot;predict_proba&quot; in dir(self.model):<br><br>            return (<br>                df<br>                .withColumn(&quot;predict&quot;, udf_predict_classifier(col(&quot;features_preprocessing&quot;)))<br>                .withColumn(&quot;predict_prob&quot;, array_max(col(&quot;predict&quot;)))<br>                .withColumn(&quot;predict_class&quot;, expr(&quot;array_position(predict, predict_prob)&quot;))<br>            )<br><br>        else:<br><br>            return (<br>                df<br>                .withColumn(&quot;predict&quot;, udf_predict(&quot;features_preprocessing&quot;))<br>            )<br><br>df_predicted = Predict(&quot;model.sav&quot;).predict(df_processed)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/520/1*PiIpIT45p0QdNs3SxeXWXg.png" /></figure><p>Como conclusão o resultado da execução das duas classes (PreProcessing e Predict) retornou o resultado do modelo na coluna predict. Assim, foi possível executar de forma distribuída e paralela modelos desenvolvidos em Python, utilizando Spark.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=e936da33b1de" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>