<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Carlos Sánchez Pérez on Medium]]></title>
        <description><![CDATA[Stories by Carlos Sánchez Pérez on Medium]]></description>
        <link>https://medium.com/@carlossanchezp?source=rss-8b5a8b2350c5------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*S2if0gVrzEkVP-yIQ3YgQg.jpeg</url>
            <title>Stories by Carlos Sánchez Pérez on Medium</title>
            <link>https://medium.com/@carlossanchezp?source=rss-8b5a8b2350c5------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Wed, 18 Nov 2026 13:35:24 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@carlossanchezp/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[MySQL: Cómo migrar una tabla con 8 millones de registros]]></title>
            <link>https://medium.com/the-cocktail-engineering/c%C3%B3mo-migrar-grandes-cantidades-de-datos-en-mysql-en-producci%C3%B3n-y-manteniendo-el-100-de-uptime-56b7ad84b7e9?source=rss-8b5a8b2350c5------2</link>
            <guid isPermaLink="false">https://medium.com/p/56b7ad84b7e9</guid>
            <category><![CDATA[backend-development]]></category>
            <category><![CDATA[mysql]]></category>
            <category><![CDATA[database]]></category>
            <dc:creator><![CDATA[Carlos Sánchez Pérez]]></dc:creator>
            <pubDate>Fri, 22 Apr 2016 12:14:57 GMT</pubDate>
            <atom:updated>2016-04-22T18:56:55.668Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/700/1*JPMmVHBQYRYTvTSw0JeGDw.jpeg" /></figure><p>En esta ocasión me gustaría contar un problema real en producción que nos ha ocurrido en <strong>MySQL. </strong>Nos encontramos con la problemática de tener que cambiar un tipo de <strong>“string”</strong> a <strong>“integer”</strong> de una columna en una tabla de más de <strong>8 Millones de registros</strong>.</p><p>Te cuento mi experiencia y las diferentes opciones en las que hemos estado trabajando a lo largo de todo el proceso.</p><h3>¿Cómo detecté el problema?</h3><p>La primera sospecha de que tenía un problema era la lentitud de una de las consultas SQL nada complicada. Un <em>select</em> con <em>where</em> sobre una <em>foreign key</em> en la tabla que estábamos chequeando, no era normal para ser una clave que tiene creado un índice y detecté que estaba haciendo <em>un full scan en toda regla</em>.</p><h3>Investigación previa a la solución</h3><p>Lo primero fue analizar la definición de los campos y los tipos en las Migrations de Rails y desde la consola de MySQL haciendo un “<strong>desc</strong>” de la tabla. Para poder analizar bien todo, es necesario mantener la vista muy despierta <strong><em>para ver y no dejarnos ningún detalle en el tintero</em></strong>.</p><p>El campo problemático era `order_id`, como se puede intuir por el nombre es una foreign key con el campo `id` de la tabla `orders`. Rails entiende que los identificadores de las tablas son de tipo `Integer` por lo tanto al hacer una consulta mediante ActiveRecord del tipo:</p><pre>order.order_events</pre><p>no usa el índice, ya que éste está configurado para ser usado con Strings y le estamos pasando (ActiveRecord por debajo) un valor de tipo ‘Integer’.</p><p><strong><em>¿Por qué estaba configurado el índice como String?</em></strong> En nuestro caso los pedidos, además de tener el identificador normal de Rails de tipo ”Integer” tenemos un identificador de pedido de tipo “String” (por ejemplo “R8388833”), investigando me di cuenta que en un principio se pensaba tener la relación entre pedidos y sus eventos usando este campo, pero mas tarde se pasó a usar el ID interno de Rails y no se modificó el índice.</p><p>Es una deuda técnica que tengo que asumir. El problema está ya detectado.</p><h3>Explorar las posibles soluciones</h3><p>Pensamos diferentes posibilidades a la hora de atacar el problema:</p><h4>Crear una Migrate de Rails</h4><p>En una primera instancia pensamos que si solamente necesito cambiar un tipo por otro, lo más sencillo era crear una migración de Rails y listo, solucionado el problema. Pensando así, sin analizar todo en conjunto, <strong><em>podemos encontrarnos con un grave problema a la hora de hacer un deploy.</em></strong> Con esto que en el momento de la migración del cambio en el <em>deploy</em>, te darás cuenta un poco tarde, que puede ser un deploy de lo más complicado. Si a esto le sumamos que el proyecto está en producción, tenemos usuarios comprando y demás, nos comemos un marrón del quince, <strong><em>¿el motivo?</em></strong> no haber tenido en consideración los 8 millones de registros. <strong>Por tanto esta solución la descartamos</strong>.</p><h4>Utilizar la consola de MySQL</h4><p>En esta otra línea pensé en diferentes posibilidades. Directamente hacer el cambio por la consola de MySQL para cambiar el campo de tipo, otra era crear dentro de la tabla otro campo temporal y llevarse ahí los datos en formato correcto. Las pruebas de estas opciones nos supuso descartarlas, ya que el tiempo es un factor que es clave.</p><h4>Script en Ruby</h4><p>Esta es una buena posibilidad para optimizar y llevarte todo lo que necesitas, desarrollando un script en Ruby que nos permita cumplir con los factores de “<strong>tiempo</strong>” que es <strong>clave</strong>, hay que tardar el menor tiempo posible, <strong>cambiar el tipo de “string” a “integer”</strong> y <strong>llevarnos los datos transformados</strong>, quitando ya los que no nos sirvan de nada, es decir, datos del tipo “R348383929” o bien por fecha dentro de un histórico. Aquí tenemos la posibilidad de hacer que la nueva migración tengamos los datos que necesitemos y dejar en otra tabla los datos <strong>historificados</strong> que ya no nos sean útiles en la tabla de trabajo.</p><p>Por tanto, me centro en <strong><em>crear el proceso Ruby lo más optimo posible.</em></strong> Primero lo que necesito es consultar los datos en la base de datos y para eso me interesa hacerlo por <strong>Active Record</strong> (pensamos en los más de 8 millones de registros y aumentando) pero claro, no lo vamos a tratar así de uno en uno, los procesamos por bloques de iteración con un <strong>find_each</strong> con <strong>batch_size</strong> de x elementos, para ir ajustando la x según veamos como va el proceso en velocidad de tratamiento de la información. La segunda parte del proceso que son las <strong>inserciones</strong> y además <strong>masivamente</strong>, pensé, por experiencia en otros procesos de carga, que lo mejor no era utilizar Active Record en las inserciones, ya que nos ralentiza mucho el proceso, por los índices creados y es aquí donde tenemos que proporcionar velocidad. Además no necesitamos validaciones ni callbacks, lo único que conseguiremos es lentitud y no es lo que estamos persiguiendo.</p><p>Entonces, <strong><em>¿cómo nos creamos las inserciones masivas de nuestros datos?</em></strong>pues lo hacemos con un array “inserts_values “ y vamos incorporando los datos leídos de nuestro modelo de Active Record ‘oe’ (objeto Active Record) para llevarnos e insertarlos en la nueva tabla:</p><pre>inserts.push “(#{oe.order_id.to_i}, ‘#{oe.origin_type}’, #{oi}, ‘#{oe.kind}’, ‘’, ‘#{oe.created_at.to_s(:db)}’, ‘#{oe.updated_at.to_s(:db)}’ )”</pre><p>En este array, después de cada ciclo de trabajo x, nos llevamos dichos datos a un INSERT con x values, que es mucho más eficiente que hacer un insert y el value x veces por ciclo de proceso.</p><pre>sql = “INSERT INTO order_events_new_origin (`order_id`, `origin_type`, `origin_id`, `kind`, `data`, `created_at`, `updated_at`) VALUES #{<strong>inserts.join(“, “)</strong>}”</pre><p>Ahora ya lo tenemos todo montado, <em>ya estamos en predisposición de hacer la primera prueba</em>. Cuando arrancamos la prueba, a las 100.000 inserciones, de 100 mil en 100 mil o en fracciones de 50 mil en 50 mil, se nos presentó un problema, un Error: <strong><em>el error de “Mysql2::Error: MySQL server has gone away”</em></strong>. Pero <strong>¿qué problema tengo? </strong>Pierdes la conexión a la base de datos por un control de seguridad que desconecta MySQL.</p><p>Un tema que pensé y que podía estar relacionado con mi problema era comprobar <strong>“max_allowed_packet”</strong> que proporciona espacio para los datos que estás incorporando en la base de datos en un insert, por ejemplo, como es mi caso. Verificamos el dato en la consola de MySQL con la ejecución del comando:</p><pre>mysql&gt; show variables like “%packet%”;</pre><p>y podemos modificar el valor (si es necesario) de dicha variable con el comando:</p><pre>SET GLOBAL max_allowed_packet=&lt;size&gt;;</pre><p><strong>Max_allowed_packet</strong> nos permite aumentar el tamaño de la información que necesitamos insertar, ya que nuestra primera sospecha es la cantidad de información que estamos intentando insertar en cada ciclo de proceso, es decir, <strong><em>en cada ciclo de batch son 50.000 mil entradas en el insert</em></strong>. También verificamos los valores de cada atributo a insertar en la tabla y los tipos, por si podíamos solucionar el problema de <strong><em>“Mysql2::Error: MySQL server has gone away”</em></strong>, pero nada de lo visto hasta el momento nos daba la pista de solucionar el problema.</p><p>Llegado a este punto pensé que si había perdido la conexión a la base de datos o eso creía por los síntomas iniciales, decido probar la posibilidad de capturar la excepción y volver a conectarnos a la Base de Datos. Pero tampoco, al capturar y reconectarnos, seguíamos teniendo el mismo problema pero tampoco reconectaba para seguir procesando.</p><p>Por este camino, parecía que no llegaría a buen puerto, así que tomé la decisión de cambiar el rumbo de la solución y dar un giro para salvar el problema del tamaño de los datos.</p><p>Pero <em>¿por qué no mejor hacer inserciones mediante un “</em><strong><em>Insert con un Select”</em></strong><em> por bloques?</em>. Los resultados obtenidos fueron que ya no teníamos los problemas de los datos en las inserciones, eso era un buen comienzo, pero llegamos hasta el final del procesado completo y los tiempos de respuesta eran algo elevados. La sentencia SQL es:</p><pre>sql = “<strong>INSERT INTO</strong> order_events_new (order_id,origin_type,origin_id,kind,data,created_at,updated_at) <strong>SELECT</strong> order_id,origin_type,origin_id,kind,data,created_at,updated_at <strong>FROM</strong> order_events where order_id = ‘#{oe.order_id}’”</pre><pre><strong>con_sql.execute sql</strong></pre><p><strong><em>¿llegado a este punto que podemos hacer?</em></strong> pues esta prueba nos da una pista importante. Nuestro <em>problema real son los datos en si mismo y concretamente el campo de tipo text</em> que en algunos casos teníamos mucha información.</p><p>Lo siguiente era explorar la posibilidad de truncar el campo a una cantidad más o menos decente de 255, pero seguíamos teniendo el mismo problema. Ahora tenía claro que mi problema era un campo de texto y arranco la prueba sin este campo y todo fue como la seda, con velocidad de proceso muy alta, con ciclos de 50 mil, 100 mil y 500 mil. Ahora ya tengo el problema acotado al máximo, es cuestión de encontrar la solución que me permita tenerlo todo junto y con una velocidad aceptable. Fui ajustando el batch hasta llegar a <strong>50</strong> en cada ciclo con esto los resultados de velocidad bajan pero ya teníamos la solución completa al problema y necesitábamos tomar los tiempos completos con los datos de equilibrio encontrados. En local los tiempos finales eran de 35 minutos de procesado más la creación de los índices al final de una 40 minutos finales, esto ya era una solución aceptable y podíamos considerar que ya llegamos al final de las pruebas.</p><h3>LA SOLUCIÓN</h3><p>La mejor solución después de pasar por todo lo anterior y probar, ha sido:</p><p>Primero copio la estructura de la tabla tal como está en el origen, es decir crearnos una copia de la estructura y los índices también, para eso tenemos el comando MySQL de<em> CREATE TABLE table_destination like table_origin</em>. Nuestro segundo paso será cambiar el tipo con <em>alter table table_destination change order_id order_id integer(15)</em> ajustamos a tamaño y características que necesitamos.</p><p>El siguiente paso es importante, hay que eliminar todos los índices que tenga la tabla con <em>alter table table_destination drop index</em>. Esta operativa <strong>nos permite tener un mejor rendimiento en la carga,</strong> ya que los índices mejoran las búsquedas de registros, pero hacen más lenta su inserción. Si dejamos los índices creados y metemos toda esa cantidad de información, seguramente <strong>tendremos problemas de distribución de índices</strong>, es decir posiblemente nos encontremos índices desfragmentados y eso nos dará problemas de futuro. <strong>Por tanto es mejor eliminar los índices y crearlos al final</strong>, los tiempos de borrado y creación de esta cantidad no superan los 2 minutos.</p><p>Cuando terminamos el bloque de proceso de llevarnos los registro que nos interesan, creamos los índices nuevamente con:</p><pre>alter table #{table_destination} add index</pre><p>y <strong><em>dejamos la tabla original como una tabla histórica</em></strong> por si necesitamos volver a recuperar datos de la misma y haremos una limpia periódicamente de los datos sobrantes en la que se trabaja.</p><p><em>Finalmente, </em><strong><em>lo más importante es que renombramos la tabla</em></strong><em> que hemos estado trabajando los cambios y la migración de datos para que Rails haga uso de los nuevos datos.</em></p><p>Espero que esta experiencia que he contado, sirva como referencia en algún problema que te encuentres parecido y te oriente para que encuentres una solución.</p><p><strong>NOTA:</strong> este post está dedicado a dos buenos compañeros por sus pequeñas grandes aportaciones que hacen que mejores día a día, ¡gracias!: <a href="https://medium.com/u/a98c40abb631">Freddie Peña</a> y <a href="https://medium.com/u/6e985b95b049">Eloy</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=56b7ad84b7e9" width="1" height="1" alt=""><hr><p><a href="https://medium.com/the-cocktail-engineering/c%C3%B3mo-migrar-grandes-cantidades-de-datos-en-mysql-en-producci%C3%B3n-y-manteniendo-el-100-de-uptime-56b7ad84b7e9">MySQL: Cómo migrar una tabla con 8 millones de registros</a> was originally published in <a href="https://medium.com/the-cocktail-engineering">The Cocktail Engineering</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
    </channel>
</rss>