<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Nicolas Mota on Medium]]></title>
        <description><![CDATA[Stories by Nicolas Mota on Medium]]></description>
        <link>https://medium.com/@nicolas.mota?source=rss-2afaf08da313------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*GBfGzx2Ni7fG403xio-Tmg.jpeg</url>
            <title>Stories by Nicolas Mota on Medium</title>
            <link>https://medium.com/@nicolas.mota?source=rss-2afaf08da313------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Sat, 21 Nov 2026 15:22:54 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@nicolas.mota/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Executando processos em background com Django e Celery]]></title>
            <link>https://medium.com/luizalabs/executando-processos-em-background-com-django-e-celery-5ade867e1bf3?source=rss-2afaf08da313------2</link>
            <guid isPermaLink="false">https://medium.com/p/5ade867e1bf3</guid>
            <category><![CDATA[background]]></category>
            <category><![CDATA[celery]]></category>
            <category><![CDATA[código]]></category>
            <category><![CDATA[distributed-systems]]></category>
            <category><![CDATA[django]]></category>
            <dc:creator><![CDATA[Nicolas Mota]]></dc:creator>
            <pubDate>Thu, 05 Apr 2018 14:13:53 GMT</pubDate>
            <atom:updated>2018-07-19T16:06:15.019Z</atom:updated>
            <content:encoded><![CDATA[<p>Se você já desenvolveu alguma aplicação em Django, provavelmente já se deparou em algum processo com tempo de execução mais longo podendo levar minutos ou horas e, consequentemente, foi visitado pelo famoso <em>Timeout. </em>Isso é bastante comum em aplicações web que empenham papéis importantes e possuem um fluxo de trabalho mais extenso e demorado o qual é necessário uma execução assíncrona e não blocantes de suas tarefas. Um exemplo bem comum é: as gerações de relatórios que necessitam buscar os dados em diversas <em>APIs</em>, consolidar esses dados e gerar uma planilha com as informações obtidas. Pensando nisso, o <strong>Celery</strong> surgiu para tirar esse Karma. Mas afinal, o que é esse tal de Celery?</p><h3>Celery</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/600/1*L9fCU38JexwoNcIqb9hlXw.png" /><figcaption>Celery logo</figcaption></figure><p>Segundo os criadores, Celery é um sistema distribuído sólido, simples e flexível que lhe permite executar grande números de mensagens de forma assíncrona. É um <em>task queue </em>com foco no processamento em tempo real, além de suportar o agendamento de tarefas.</p><p>Celery é <em>Open Source</em> e está sob a <a href="http://www.opensource.org/licenses/BSD-3-Clause">licença BSD</a>.</p><p>Dessa forma, irei abordar alguns tópicos importantes para o entendimento de como tudo funciona.</p><p><strong>O que é um <em>task queue</em>?</strong></p><p><em>Task queues</em> são usadas como mecanismo de distribuição de trabalho entre <em>threads</em> e máquinas.</p><p>Uma entrada de uma fila de tarefa é considerada como uma unidade de trabalho e aqui chamada de <em>Task. Workers </em>dedicados monitoram constantemente essas filas verificando a existência de uma nova tarefa para ser executada.</p><p>A comunicação do Celery é realizada via mensagens utilizando um <a href="https://en.wikipedia.org/wiki/Message_broker"><em>broker</em></a><em> </em>para realizar a intermediação entre o <em>client</em> e o <em>worker</em>. Para essa comunicação acontecer, o <em>client</em> insere uma mensagem a fila e o <em>broker</em> realiza o trabalho de distribuir essa mensagem a um <em>worker</em> disponível.</p><p>Celery lhe permite trabalhar com múltiplos <em>workers</em> e <em>brokers</em>, facilitando assim uma escalabilidade horizontal na execução de suas <em>tasks.</em></p><h4>Requisitos básicos para rodar aplicação utilizando o Celery</h4><p>Celery necessita de um sistema de mensageria para realizar envios e recebimentos de suas mensagens, sendo os mais utilizados:</p><ul><li><a href="https://www.rabbitmq.com/">RabbitMQ</a></li><li><a href="https://redis.io/">Redis</a></li><li><a href="https://aws.amazon.com/sqs/">Amazon SQS</a></li></ul><p>e para testes locais também aceitando o SQLite.</p><p>Entendendo isso, como aplicar?</p><h3><strong>Aplicando o Celery em uma aplicação Django</strong></h3><p>Considerando que você já possua uma aplicação rodando com Django, explicarei como instalar o Celery e como mudar aquela <em>task</em> longa para ser executada por um <em>worker</em> em <em>background</em>.</p><p>Primeiro passo, escolher um <em>broker:</em></p><p>Neste artigo, utilizaremos o redis devido à sua rápida implementação e ser possível rodar tanto local quanto em produção.</p><ul><li>Instalando no Linux: <a href="https://www.digitalocean.com/community/tutorials/how-to-install-and-configure-redis-on-ubuntu-16-04">clique aqui</a></li><li>Instalando no Windows, <a href="https://github.com/rgl/redis/downloads">clique aqui</a></li><li>Instalando no Mac OS, <a href="http://jasdeep.ca/2012/05/installing-redis-on-mac-os-x/">clique aqui</a></li></ul><p>E caso se interesse em saber mais sobre o redis, a documentação é bem extensa e rica, e você pode visualizá-la por aqui: <a href="https://redis.io/documentation"><em>redis.io documentation</em></a></p><p>Para começar a utilizar o Celery em seu projeto é necessário a instalação dele, sendo feito pelo pypy:</p><pre>$ pip install celery</pre><p>Após a instalação, criaremos um arquivo chamado <em>celery.py </em>no diretório principal da aplicação, com as seguintes informações:</p><pre>import os</pre><pre>from celery import Celery<br>from django.conf import settings</pre><pre>os.environ.setdefault(&#39;DJANGO_SETTINGS_MODULE&#39;, &#39;settings.dir&#39;) #1</pre><pre>app = Celery(&#39;current_app_name&#39;) #2<br>app.config_from_object(&#39;django.conf:settings&#39;) #3<br>app.autodiscover_tasks(lambda: settings.INSTALLED_APPS) #4</pre><p>Fazendo isso, você está:</p><ol><li>setando em seu <em>environment</em> o modulo referente a <em>settings</em> do Django e caso não exista ele seta o segundo parâmetro informado: settings.dir (informar o modulo onde se encontra sua <em>settings</em>)</li><li>instanciando o Celery em sua aplicação, informando em qual modulo está o arquivo <em>celery.py</em></li><li>está dizendo aonde ele irá encontrar os parametros de configuração do Celery (no nosso caso, estará na <em>settings</em>)</li><li>ensinando ao Celery aonde ele irá procurar pelos seus arquivos de tasks que em nosso caso ele varrerá todos os <em>apps</em> instalados e buscará arquivos com prefixo tasks</li></ol><p>Feito isso, agora precisamos importar o <em>app</em> criado no <em>celery.py </em>em nosso <em>__init__.py </em>na raiz do projeto:</p><pre>from .celery import app</pre><p>Isso faz com que ao inicializar a aplicação, inicie também o Celery.</p><p>Criado o arquivo principal, iremos configurar o Celery em nossa <em>settings</em>, e, para isso, primeiro vamos entender alguns parâmetros importantes:</p><p><strong>Entendendo <em>Queues</em>, <em>Exchanges</em> e <em>Routing Keys</em></strong></p><p>Este é um passo importante para absorver o funcionamento do Celery, pois os passos descritos abaixo representam seu funcionamento, e segue a seguinte sequência:</p><ol><li>Os <em>clients </em>enviam as mensagens para o <em>Exchange </em>(permutador)<em>.</em></li><li>O <em>Exchange </em>direciona a mensagem para uma ou mais filas e isso depende muito do tipo de permutação que você está implementando, tendo diversas formas de roteamento e podendo ter diferentes cenários de mensagens.</li><li>A mensagem aguarda na fila até algum <em>worker</em> disponível a consuma.</li><li>A mensagem é deletada da fila após um <em>worker</em> confirmar a execução dela.</li></ol><figure><img alt="" src="https://cdn-images-1.medium.com/max/814/1*wHAv44m71kBlj-RZ7Imk2w.jpeg" /><figcaption>Celery flow</figcaption></figure><p>E para criar o processo de envio e recebimento de mensagens, será necessário:</p><ol><li>Criar um permutador</li><li>Criar uma fila</li><li>Vincular uma fila em um permutador</li></ol><p>Tudo isso pode parecer muito trabalhoso, mas na prática é muito simples, basta realizar a seguinte configuração em sua <em>settings.py</em></p><pre>from kombu import Exchange, Queue<br></pre><pre>task_default_queue = &#39;default&#39; #1<br>default_exchange = Exchange(&#39;media&#39;, type=&#39;direct&#39;) #2<br>task_queues = (<br>    Queue(<br>        &#39;media_queue&#39;, #3<br>        exchange=default_exchange, #4<br>        routing_key=&#39;video&#39; #5<br>    )<br>)</pre><ol><li>Configura uma fila <em>default</em>. Caso você não informe a uma <em>task</em> qual fila ela será executada, ela irá buscar neste parâmetro a fila padrão.</li><li>Cria seu permutador, dando um nome a ele e utilizando seu tipo <em>default</em> direct. Existe outros <em>types</em>, mas é um assunto mais longo e cabe em outro artigo com melhores detalhes.</li><li>Nome dado a <em>queue</em>, esse nome será o utilizado na hora de informarmos para a <em>task</em> em qual fila ela irá ser executada.</li><li>Informa a <em>Queue</em> qual <em>Exchange</em> ela irá utilizar</li><li>Nome da fila criada no sistema de mensageria, onde será postado pelo <em>client</em> e consumido pelo <em>worker</em>.</li></ol><p>Criado as rotas de suas filas iremos configurar o <em>broker</em> em nossa aplicação, e para isso, basta adicionar o parâmetro broker_urlno seguinte formato:</p><pre>broker_url=&#39;transport://user:password@hostname:port/virtual_host&#39;</pre><p>e como estamos rodando o redis em nossa maquina local basta informar:</p><pre>broker_url=&#39;redis://&#39;</pre><p>Isso já é o suficiente para que você consiga rodar o Celery em sua aplicação, agora iremos alterar aquele sua função super demorada para que ela seja executada em <em>background</em>, tirando o <em>block</em> de sua requisição. Pensando nisso irei criar uma <em>task</em> demorada para exemplificar:</p><pre>import time</pre><pre><br>def slow_task():<br>    print(&#39;Started task, processing...&#39;)<br>    time.sleep(120)<br>    print(&#39;Finished Task&#39;)<br>    return True</pre><pre><br>slow_task()</pre><p>Essa função é o suficiente para gerar um <em>timeout</em> em sua aplicação, e para transformar ela em uma Celery <em>task</em>, basta você realizar a seguinte alteração:</p><pre>import time</pre><pre>from celery import shared_task</pre><pre>@shared_task(queue=&#39;default&#39;) #1<br>def slow_task():<br>    print(&#39;Started task, processing...&#39;)<br>    time.sleep(120)<br>    print(&#39;Finished Task&#39;)<br>    return True</pre><pre>slow_task.delay() #2</pre><ol><li>Informo que a função decorada será uma Celery <em>task</em> compartilhada, ou seja, ao decorar a função com @shared_task ele retorna um <em>proxy</em> que sempre utiliza a instancia da <em>task </em>no <em>app</em> atual, fazendo ela ser reutilizada independente de quantas instancias de Celery você esteja criando em sua aplicação.</li><li>Ao invés de executar a função diretamente, agora digo pra ela ser executada de forma assíncrona. Quando executo um .delay() na verdade estou enviando uma mensagem para a fila default para que um <em>worker</em> execute através dessa mensagem a função decorada, fazendo assim sua requisição a esta função não ficar bloqueada aguardando sua finalização.</li></ol><h3>Rodando os workers do celery</h3><p>O processo para a execução do Celery é bem simples, basta realizar a seguinte chamada:</p><pre>celery -A current_app_name worker --loglevel=info</pre><p>Onde:</p><ul><li><em>current_app_name: </em>é o nome do modulo onde se encontra o arquivo <em>celery.py</em>, ou seja, o modulo raiz do projeto</li><li><em>worker</em>: é o parâmetro informando que você está iniciando um nó de <em>worker</em></li><li><em>- -loglevel=info: </em>é o parâmetro informando qual o menor level de log que o celery deve logar</li></ul><p>Tendo isso como base, você já consegue explorar melhor alguns pontos de sua aplicação aonde os <em>delays</em> são maiores e transformá-los em <em>tasks</em> assíncronas e deixar para que o <em>worker</em> dê conta delas sem impedir a navegação ou uma requisição de seus usuários, ou nos piores casos, retornar um belo <em>timeout</em> para eles. Em um próximo artigo, irei explicar como criar um <em>workflow</em> mais complexo utilizando o Celery Canvas.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=5ade867e1bf3" width="1" height="1" alt=""><hr><p><a href="https://medium.com/luizalabs/executando-processos-em-background-com-django-e-celery-5ade867e1bf3">Executando processos em background com Django e Celery</a> was originally published in <a href="https://medium.com/luizalabs">luizalabs</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
    </channel>
</rss>