<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Adilene Calderón Gómez on Medium]]></title>
        <description><![CDATA[Stories by Adilene Calderón Gómez on Medium]]></description>
        <link>https://medium.com/@adilenec7?source=rss-db826942d729------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*qIBQ6CzJHZ6sUkQMFbN9cg.jpeg</url>
            <title>Stories by Adilene Calderón Gómez on Medium</title>
            <link>https://medium.com/@adilenec7?source=rss-db826942d729------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Fri, 20 Nov 2026 09:10:18 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@adilenec7/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Utilizando PySpark para la clasificación de Malware]]></title>
            <link>https://medium.com/mcd-unison/utilizando-pyspark-para-la-clasificaci%C3%B3n-de-malware-94f8ad640430?source=rss-db826942d729------2</link>
            <guid isPermaLink="false">https://medium.com/p/94f8ad640430</guid>
            <dc:creator><![CDATA[Adilene Calderón Gómez]]></dc:creator>
            <pubDate>Wed, 18 May 2022 06:46:58 GMT</pubDate>
            <atom:updated>2022-05-20T02:56:39.917Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*lSbeirGBJTDFeHP6.jpg" /></figure><p>El siguiente trabajo corresponde al proyecto final del curso optativo Big Data de la maestría en Ciencia de Datos de la Universidad de Sonora, impartida por el Dr. Juan Pablo Soto Barrera.</p><h3>Autores</h3><ul><li><a href="https://medium.com/@carlos_vzlqz">Carlos Velázquez</a></li><li><a href="https://medium.com/@marthainesjc">Martha Juárez</a></li><li><a href="https://medium.com/@paola_velez">Paola Vélez</a></li><li><a href="https://medium.com/@adilenec7">Adilene Calderón</a></li></ul><h3>Contenido</h3><ul><li>Contexto</li><li>Descarga y extracción de datos</li><li>Limpieza de datos</li><li>Extracción de características y generación de CSV</li><li>Transformación de CSV a .parquet</li><li>Generación de datos de entrenamiento y datos de prueba</li><li>Análisis de datos exploratorio</li><li>Generación de modelos y optimización de hiperparametros</li><li>Evaluación y selección de modelo</li><li>Exportación de modelo</li><li>Repositorio del modelo</li><li>Referencias</li></ul><h3><strong>Contexto</strong></h3><p>El malware (o software malicioso) es software diseñado para dañar a los usuarios, las organizaciones y los sistemas informáticos y de telecomunicaciones. Más concretamente, el malware puede bloquear la conexión a Internet, corromper un sistema operativo, robar la contraseña y otra información privada de un usuario.</p><p>Durante la última década, el Machine Learning ha provocado un cambio radical en muchos sectores, incluido el de la ciberseguridad. Existe la creencia generalizada entre los expertos en ciberseguridad de que las herramientas antimalware potenciadas por Machine learning ayudarán a detectar los ataques de malware modernos y a mejorar los motores de escaneo.</p><p>Los n-gramas de bytes se han utilizado previamente como características en una serie de trabajos, y son uno de los tipos de características más comunes utilizados para el análisis estático de malware. Los n-gramas de bytes son especialmente atractivos, ya que no necesitan conocer el formato del archivo, no requieren ningún análisis dinámico y podrían aprender información tanto de las cabeceras como de las secciones de código binario de un ejecutable. El hecho de que el enfoque de los n-gramas no requiera un conocimiento del dominio significa que un sistema de n-gramas de bytes podría utilizarse para otros formatos de archivo, como los PDF.</p><p>En este problema utilizaremos el dataset de Microsoft Malware Classification Challenge (BIG 2015), en conjunto con tecnologías tales como Spark y Hadoop, con el fin de realizar la clasificación de Malware en un contexto de Big Data. El dataset de Clasificación de Malware de Microsoft se anunció en 2015 junto con la publicación de un enorme conjunto de datos de casi 0,5 terabytes, compuesto por el desensamblaje y el código de bytes de más de 20 000 muestras de malware.</p><p>Este dataset es un conjunto de archivos de malware conocidos que representan una mezcla de 9 familias de malware diferentes. Cada archivo de malware tiene un Id, un valor hash de 20 caracteres que identifica de forma exclusiva el archivo, y una Clase (un número entero que representa uno de los 9 nombres de familia a los que puede pertenecer el malware).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/519/0*ac9pOWi-6pq-p_QG" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*x7vzkTr6c05ZKry_aONqhw.png" /></figure><p>En este proyecto se utilizará PySpark (el cual es una interfaz para Apache Spark en Python) para generar un modelo de Machine Learning el cual permite clasificar a un archivo malicioso en una de las 9 familias de malware presentadas previamente.</p><h3><strong>Ejecución de código</strong></h3><p>Todos los archivos descargados y el código ejecutado se realizaron en el Área de Cómputo de Alto Rendimiento (ACARUS), en nodos con las siguientes características:</p><ul><li>Intel Xeon E5–2698 40 cores max, 3.2 GB RAM por core</li><li>Amd Opteron 6282SE 64 cores max, 2.0 GB RAM por core</li></ul><h3><strong>Descarga y extracción de datos</strong></h3><p>Los datos se descargaron con la API de kaggle, debido a que estos pesan medio terabyte se descargaron comprimidos (todos los archivos .bytes juntos pesan 185 Gb), la extracción se realizó con la librería pyunpack, como se muestra a continuación.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/dd1109b70f890aae00f9d25d6e16c5ea/href">https://medium.com/media/dd1109b70f890aae00f9d25d6e16c5ea/href</a></iframe><p>En este proyecto se trabajará solo con los bytecode de los archivos de malware, estos tienen la siguiente estructura:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/513/0*4amIalZ3fzCquOBm" /><figcaption>Pie de foto: Fragmento de un archivo bytecode (AaKdPBWQD37j9prRxFoZ.bytes)</figcaption></figure><h3><strong>Limpieza de datos</strong></h3><p>Antes de extraer las características, es necesario la limpieza de los archivos bytecode, debido a que estos tienen la dirección de los bytecode (lo que está señalado en la imagen, también conocido como offset), ya que este es el mismo para todos los archivos. Así como en los métodos de extracción de características, aquí se usó como base el método propuesto por<a href="https://www.kaggle.com/code/paulrohan2020/microsoft-malware-detection-log-loss-of-0-0070"> Rohan-Paul-Al</a> , sin embargo, se le realizaron algunas modificaciones para poder correrlo en paralelo la librería MultiProcessing y así corriera de manera más rápida.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/512/0*rTrGv7nVxOVP1UbG" /></figure><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/623184d39cba6f3ec2e1fa6f36493ca3/href">https://medium.com/media/623184d39cba6f3ec2e1fa6f36493ca3/href</a></iframe><h3><strong>Extracción de características y generación de CSV</strong></h3><p><strong>Extracción de unigramas: </strong>Para extraer las características de los archivos bytecode se utilizó el enfoque de la extracción de unigramas. Se intentaron diversas formas (tales como utilizar el método CountVectorizer que viene integrado en PySpark ML), sin embargo, el tamaño de los archivos eran muy grandes y había una gran cantidad de ellos, lo cual hacía que el proceso fuera muy lento (o causaba errores).</p><p>Finalmente, la metodología que resultó exitosa fue inspirada en la solución propuesta por Rohan-Paul-Al, pero se modificó ligeramente para adaptarlo a la librería MultiProcessing de Python, el cual, por medio de la paralelización del proceso acelera considerablemente la ejecución del código, como se muestra a continuación:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/339ac6b7a2de12e715938faa679c1a2b/href">https://medium.com/media/339ac6b7a2de12e715938faa679c1a2b/href</a></iframe><p><strong>Extracción del peso de archivo: </strong>Otra característica que se contempló fue la extracción del peso del archivo, este extracción de características no es costosa (computacionalmente hablando) y se realizó utilizando como base el método propuesto por Rohan-Paul-Al, adaptándolo a PySpark:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/41fbcf30a6b7fef9a857198fb319eb07/href">https://medium.com/media/41fbcf30a6b7fef9a857198fb319eb07/href</a></iframe><h3><strong>Transformación de CSV a .parquet</strong></h3><p>Todos los archivos .csv generados a lo largo del proyecto se transformaron a formato parquet, con el fin de eficientar el almacenamiento. Un archivo Parquet es un formato de almacenamiento de datos de forma estructurada, el cual ayuda a optimizar los datos y reducir los tiempos de consulta mientras se consume menos espacio en contraste con un archivo CSV.</p><p>Para esto se utilizó la librería Pyarrow, esta proporciona una API de Python para la funcionalidad proporcionada por las bibliotecas Arrow C++, junto con herramientas para la integración de Arrow.</p><p>El script que se utilizó para transformar los archivos es el siguiente:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/35588ce6b8597db7c8a1069bf9cb7535/href">https://medium.com/media/35588ce6b8597db7c8a1069bf9cb7535/href</a></iframe><h3><strong>Generación de datos de entrenamiento y datos de prueba</strong></h3><p>Separar los datos en conjunto de entrenamiento y conjunto de prueba es una parte importante para la evaluación de modelos de aprendizaje. Dado que haremos uso de modelos de clasificación de Machine Learning, es necesario generar datos de entrenamiento y de prueba.</p><p>‘’Es importante que el <em>conjunto de datos de prueba </em>tenga un <em>volumen suficiente</em> como para generar resultados estadísticamente significativos, y a la vez, que sea <em>representativo </em>del conjunto de datos global.’’ <a href="https://empresas.blogthinkbig.com/datos-entrenamiento-vs-datos-de-test/#:~:text=Los%20datos%20de%20prueba%2C%20validaci%C3%B3n,nuevo%20son%20acertadas%20o%20no.">Cita</a></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/388/0*ngx7uD2WAbYnWgFZ" /></figure><p>Para la clasificación de malware se generaron aleatoriamente los datos de entrenamiento en un 70% y los datos de prueba en un 30% del total. También se definió una semilla 2018 para que al volver a cargar el código se generen los mismos datos aleatorios.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/70f3e3f7d5b3aa8604bd86441ddadd48/href">https://medium.com/media/70f3e3f7d5b3aa8604bd86441ddadd48/href</a></iframe><h3>Análisis de datos exploratorio</h3><p>Vemos las primeras columnas con nombre que son “ID”, “size” y “Class”.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/888/0*ahcGTrH97Sxx7oTh" /></figure><p>Tenemos 10868 ID distintos.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/708/0*RnAqEuGPY_KEuev8" /></figure><p>Veamos las estadísticas básicas de size.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/681/0*Pj3Om_0qXQkt-Dya" /></figure><p>Veamos un boxplot sencillo para la columna “size”.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*fxQ4ub4wyiT0I3wf" /></figure><p>A continuación un boxplot para la columna “Class”.</p><p>¿Podríamos ver algo de las demás columnas? Solamente podemos observar que tienen una mayor dispersión. Aquí es un boxplot de las columnas llamadas 0, 1, 2, 3, 4, 5.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*WEfN3ZHgXgt1Z3Ud" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*fp-wFsfxxgRQ0Huj" /></figure><p>Ahora veamos cómo están distribuidos los malware. Podemos observar en el siguiente histograma que la mayoría de ellos son de clase 1, 2 y 3 mientras que los demás malware no son tan comunes. Es decir, si tienes un malware, habrá un 64% que sea de clase 1, 2 o 3. Aquí también podemos ver que el que más aparece es de clase 3, Kelihos.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*EUSey5gEH_lK8u3domw4mw.png" /></figure><h3><strong>Generación de modelos y optimización de hiperparametros</strong></h3><p>Para obtener el mejor modelo, se probaron los 4 modelos disponibles para clasificación en PySpark, en cada uno de estos se realizó el método Grid Search para la optimización de hiperparámetros y se realizó la validación cruzada para garantizar que los resultados de los modelos son independientes de la partición entre datos de entrenamiento y prueba.</p><ul><li><strong>Random Forest</strong></li></ul><p>Los Bosques Aleatorios (o Random Forest, por su nombre en inglés) es un algoritmo de aprendizaje supervisado que crea múltiples árboles de decisión y los combina para obtener una predicción más precisa y estable. Se realizó con PySpark de la siguiente manera:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/f1614a213eb534bafe28df478cdb3c24/href">https://medium.com/media/f1614a213eb534bafe28df478cdb3c24/href</a></iframe><p>Se obtuvieron resultados muy buenos con este algoritmo, y los parámetros óptimos obtenidos con el ParamGrid fueron:</p><p>(numTrees=50, numClasses=10, numFeatures=257)</p><p>Accuracy = 0.9757002886364886</p><p>Test Error = 0.02429971136351139</p><ul><li><strong>Logistic Regression</strong></li></ul><p>Se utilizó el modelo de Regresión Logística para la multi clasificación de los tipos de virus con ayuda de ParamGrid y Cross Validation obteniendo como mejores parámetros regParam=0, elasticNetParam=0 y maxIter=50 y como resultado se obtuvo:</p><p>Accuracy = 0.9172370877411326</p><p>Test Error = 0.08276292</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/759/0*_I0ht1XQdGCPkcvT" /></figure><p>El código de implementación se realizó de la misma forma que para el modelo de Random Forest utilizando como diferencia la función LogisticRegression().</p><ul><li><strong>Decision Trees</strong></li></ul><p>Un árbol de decisión es un algoritmo de aprendizaje automático supervisado conformado por nodos, donde cada ramificación incluye reglas de clasificación y atributos asociados a cada etiqueta, calculando la categoría a la que pertenece, en este caso, cada malware.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/291/0*eRblvUfaHMm5hTzN" /></figure><p>Para este método de la librería Pyspark utilizamos la función DecisionTreeClassifier, con la cual se obtuvo:</p><p>Accuracy = 0.9601742377100186</p><p>Test Error = 0.03982576228998136</p><ul><li><strong>Naive bayes</strong></li></ul><p>Los clasificadores Naive Bayes son una colección de algoritmos de clasificación basados en el Teorema de Bayes. No es un solo algoritmo sino una familia de algoritmos donde todos comparten un principio común, es decir, cada par de características que se clasifican son independientes entre sí.</p><p>El código de implementación se realizó con PySpark utilizando la función NaiveBayes().</p><p>Los parámetros óptimos obtenidos con el ParamGrid fueron:</p><p>(modelType = multinomial, numClasses = 9, numFeatures = 257)</p><p>Se obtuvo lo siguiente:</p><p>Test Error = 0.962352</p><p>Accuracy = 0.03764779091474798</p><h3><strong>Selección y exportación de modelo</strong></h3><p>Se seleccionó el modelo de Random Forest debido a que presentó mejores métricas y se exportó de la siguiente manera:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/2f9fcd152269a85defa92e1672dc00ff/href">https://medium.com/media/2f9fcd152269a85defa92e1672dc00ff/href</a></iframe><p>Al ejecutar este código, se generará un directorio el cual contiene subdirectorios con los metadatos, estimadores y evaluadores, para poder utilizar el modelo en un futuro.</p><p>Y listo, ya tenemos un modelo que permite clasificar a los diferentes tipos de Malware en su respectiva familia.</p><h3><strong>Ideas futuras</strong></h3><p>Se proponen algunas maneras en las que se puede seguir trabajando en este proyecto, la primera es que además de unigramas se extraigan los diferentes N-gramas N=2–8, ya que hay varios estudios donde se reporta que esto puede mejorar los resultados. Otra es que en lugar de extraer N-gramas, se tome el enfoque de transformar los archivos de malware a imágenes de escala de grises y usar una red neuronal convolucional para clasificarlos.</p><h3><strong>Repositorio del proyecto</strong></h3><p>Todo el código y datos (junto con sus diccionarios de datos) que se presentan y se mencionan en el transcurso del artículo se encuentran disponibles en el repositorio del proyecto <a href="https://github.com/carlosvelv/big_data_malware.">https://github.com/carlosvelv/big_data_malware.</a></p><h3><strong>Agradecimientos</strong></h3><p>Agradecemos al Área de Cómputo de Alto Rendimiento del Departamento de Matemáticas de la Universidad de Sonora por prestarnos sus servicios para hacer posible este proyecto.</p><h3><strong>Referencias</strong></h3><ul><li>1 — Malware classification and composition analysis: A survey of recent developments — <a href="https://www.sciencedirect.com/science/article/pii/S2214212621000648">https://www.sciencedirect.com/science/article/pii/S2214212621000648</a></li><li>2 — The rise of machine learning for detection and classification of malware: Research developments, trends and challenges — <a href="https://www.sciencedirect.com/science/article/pii/S1084804519303868">https://www.sciencedirect.com/science/article/pii/S1084804519303868</a></li><li>3 — Detection of malicious code by applying machine learning classifiers on static features: A state-of-the-art survey — <a href="https://www.sciencedirect.com/science/article/abs/pii/S1363412709000041">https://www.sciencedirect.com/science/article/abs/pii/S1363412709000041</a></li><li>4 — An investigation of byte n-gram features for malware classification — <a href="https://link.springer.com/article/10.1007/s11416-016-0283-1">https://link.springer.com/article/10.1007/s11416-016-0283-1</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=94f8ad640430" width="1" height="1" alt=""><hr><p><a href="https://medium.com/mcd-unison/utilizando-pyspark-para-la-clasificaci%C3%B3n-de-malware-94f8ad640430">Utilizando PySpark para la clasificación de Malware</a> was originally published in <a href="https://medium.com/mcd-unison">MCD-UNISON</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Instalación de Hadoop en Windows 10 y un ejemplo de WordCount]]></title>
            <link>https://medium.com/@adilenec7/instalaci%C3%B3n-de-hadoop-en-windows-10-y-un-ejemplo-de-wordcount-d281143b6fc4?source=rss-db826942d729------2</link>
            <guid isPermaLink="false">https://medium.com/p/d281143b6fc4</guid>
            <dc:creator><![CDATA[Adilene Calderón Gómez]]></dc:creator>
            <pubDate>Sat, 12 Feb 2022 05:28:55 GMT</pubDate>
            <atom:updated>2022-05-18T22:46:03.984Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/376/1*I40nf0Rrbyt6wK1lezaXIA.png" /></figure><p>Esta publicación es una pequeña guía sobre cómo instalar Hadoop 3.2.2 en una computadora con Windows. Con la intención de tener un entorno de prueba para Hadoop en su propio entorno local de Windows.</p><p>Hadoop es una estructura de software opensource para almacenar datos y ejecutar aplicaciones en clústeres de hardware comercial. Tiene la capacidad de almacenar y procesar enormes cantidades de cualquier tipo de datos, al instante. El modelo de cómputo distribuido de Hadoop procesa big data a gran velocidad, además el procesamiento de datos y aplicaciones está protegido contra fallos del hardware.</p><p>El primer paso es descargar e instalar lo siguiente:</p><h3>WinRAR</h3><p>Descargue e instale WinRAR de 64 bits desde <a href="https://www.winrar.es/descargas">winrar.es</a> que luego le permitirá extraer paquetes de tipo tar.gz de Linux en Windows.</p><h3>Oracle</h3><p>Para este paso es necesario crear una cuenta en Oracle. Puede hacerlo en el siguiente enlace: <a href="https://profile.oracle.com/myprofile/account/create-account.jspx">https://profile.oracle.com/myprofile/account/create-account.jspx</a></p><h3>Java</h3><p>Descargue 64-bit Java para Windows, en el siguiente enlace:<a href="https://www.oracle.com/java/technologies/downloads/#java8-windows"> Java Downloads</a></p><p>Una vez instalado, puede conformar está ejecutando la versión correcta desde la consola usando el comando ‘java -version’, cuyo resultado puede confirmar en la línea de comandos de esta manera:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*uvQZWCmE1uUP1infZy1qqg.png" /></figure><h3>Configuración de variables de entorno</h3><p>Es necesario crear una variable de entorno para Java. Entre a “System Properties” y dirijase a “Environment Variables”.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*JfGUY9qonl851HPA5mL3Yg.jpeg" /></figure><p>Ahora hay que crear un nuevo variable de usuario, en Variable name puede utilizar “JAVA_HOME” y en Variable value utilice la carpeta “jdk” en mi caso sería <em>C:\Java\jdk1.8.0_321\bin,</em> como se muestra a continuación<em>:</em></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*95MGCwdwetZ1HH_xTYseow.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*waFy3NuZd5LN4PWeG4kyMA.png" /></figure><p>Asi es como debe verse despues de realizar el paso anterior.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*-Cp5IiMqgO_6Xs1M-ZxJ3w.png" /></figure><p>Ahora “System variables”, busque la variable “Path”, selecciónela y haga clic en editar. Le aparecerá una segunda ventana llamada “Edit environment variable”, seleccionará “New” y ahi pondra <em>C:\Java\jdk1.8.0_321\bin nuevamente. </em>Asegurese de darle aceptar en cada ventana.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*DkDfG4zPtBwsrr6qNEW01w.png" /></figure><p>Nuevamente vamos a verificar Java, esta vez que este bien instalado. En su consola escriba el comando <em>javac.</em> Deberá tener un resultado similar a lo mostrado abajo.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*gEw8-FfMhW-jHT3YC1ReCQ.png" /></figure><h3>Hadoop</h3><p>Ahora se instalará una distribución de Hadoop. Para ello, he decidido descargar la versión Hadoop 3.2.2-alpha2 (9 de enero 2021 ) en formato binario, desde Apache Download Mirror en <a href="http://hadoop.apache.org/releases.html">http://hadoop.apache.org/releases.html</a></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*4AcJRRE7b3Sr2rabSdUzoQ.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*x83wID5d9rE_KoA6b1tpAA.jpeg" /></figure><p>Posiblemente antes de que finalice la extracción salgan algunos errores como lo siguiente. De ser así, simplemente de “cerrar” e ignore.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*sLCJzG9CCdzMQm-XhmPTiA.png" /></figure><h3>Editar la configuración de Hadoop</h3><p>Es necesario configurar los siguientes archivos de Hadoop. Se encuentran en C:\hadoop-3.2.2\etc\hadoop.</p><blockquote>core-site.xml<br>hadoop-env.cmd<br>hdfs-site.xml<br>mapred-site.xml<br>yarn-site.xml</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*TctP3J2-AtCYg1hnt6o1tw.png" /></figure><p>Puede abrirlos con su editor favorito.</p><h3><strong><em>core-sitio.xml</em></strong></h3><p>Empecemos a configurar <strong><em>core-sitio.xml</em></strong><em>.</em></p><p>Debe configurar la ubicación predeterminada del sistema de archivos de Hadoop. Pegue lo siguiente dentro de <em>&lt;configuration&gt;</em>:</p><blockquote>&lt;property&gt;<br> &lt;name&gt;fs.defaultFS&lt;/name&gt;<br> &lt;value&gt;hdfs://localhost:9000&lt;/value&gt;<br>&lt;/property&gt;</blockquote><p>Asi debe verse una vez ya configurado:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*J0NG2wU0euEuI9w6_JCTLA.jpeg" /></figure><h3><strong><em>mapred-site.xml</em></strong></h3><p>Como en el paso anterior, se editará el archivo mapred-site.xml y agregué la siguiente configuración de XML Yarn para Mapreduce</p><blockquote>&lt;property&gt;<br> &lt;name&gt;mapreduce.framework.name&lt;/name&gt;<br>&lt;value&gt;yarn&lt;/value&gt;<br>&lt;/property&gt;</blockquote><p>Asi debe verse ya editado</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*0AHhhn4YjIrcSkCG-zpIng.jpeg" /></figure><h3><strong><em>hdfs-site.xml</em></strong></h3><p>Se deberá crear algunas carpetas nuevas. En el directorio principal de Hadoop cree una carpeta de datos.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*q5-d0pdaFFS9zHY9du21-g.jpeg" /></figure><p>Dentro de esta carpeta haga otras dos con los nombres: <em>datanode</em> y <em>namenode</em></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*V-04Hc7wW6d3BbVl7R7nwQ.jpeg" /></figure><p>La carpeta datanode tiene la ruta<em> </em>C:\hadoop-3.2.2\data\datanode<em> </em>y namenode tiene la ruta C:\hadoop-3.2.2\data\namenode<em>. </em>Ahora proporcionaremos las rutas de estas carpetas como propiedades en el archivo hdfs-site.xml.</p><p>Una vez hecho esto, debe proporcionar las rutas de estas carpetas como propiedades en el archivo hdfs-site.xml. Puede copiar el siguiente fragmento directamente en la etiqueta &lt;configuration&gt;, solo tenga cuidado de ajustar las rutas del nodo de datos y del nodo de nombre de acuerdo con las ubicaciones de su máquina:</p><blockquote>&lt;property&gt;<br> &lt;name&gt;dfs.replication&lt;/name&gt;<br> &lt;value&gt;1&lt;/value&gt;<br>&lt;/property&gt;</blockquote><blockquote>&lt;property&gt;<br> &lt;name&gt;dfs.namenode.name.dir&lt;/name&gt;<br> &lt;value&gt;C:\hadoop-3.2.2\data\namenode&lt;/value&gt;<br>&lt;/property&gt;</blockquote><blockquote>&lt;property&gt;<br> &lt;name&gt;dfs.datanode.data.dir&lt;/name&gt;<br> &lt;value&gt;C:\hadoop-3.2.2\data\datanode&lt;/value&gt;<br>&lt;/property&gt;</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*erfieiDxViJS0ZfzkuEzcQ.png" /></figure><h3>yarn-site.xml</h3><p>Nuevamente iremos a la carpeta yarn-site.xml, <em>copie el siguiente codigo dentro de &lt;configuration &gt;:</em></p><blockquote>&lt;property&gt;<br> &lt;name&gt;yarn.nodemanager.aux-services&lt;/name&gt;<br> &lt;value&gt;mapreduce_shuffle&lt;/value&gt;<br>&lt;/property&gt;</blockquote><blockquote>&lt;property&gt;<br> &lt;name&gt;yarn.nodemanager.auxservices.mapreduce.shuffle.class&lt;/name&gt;<br> &lt;value&gt;org.apache.hadoop.mapred.ShuffleHandler&lt;/value&gt;<br>&lt;/property&gt;</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*IGyUQqZphEJ1fm5U9e8kfw.png" /></figure><h3>hadoop-env.cmd</h3><p>Para este archivo hadoop-env.cmd, debe proporcionar la ruta a Java. Usaremos la ruta que utilizamos en JAVA_HOME anteriormente, pero esta vez sin “bin” es decir: C:\Java\jdk1.8.0_321</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*rFidriYqb6RxRuSbkt7n7Q.png" /></figure><p>Ahora deberemos pegar lo anterior donde se muestra en la siguiente imagen.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*DVVQ7H_W3erlsuWYsLBm1Q.png" /></figure><h3>Configuración de variables de entorno de Hadoop</h3><p>Una vez realizado lo anterior, ahora debemos configurar las variables de entorno para definir las rutas predeterminadas de Hadoop y Java.</p><p>Nuevamente entraremos a “System Properties” y a “Environment Variables”, como anteriormente lo hicimos para configurar Java.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*FHvN_1wVR_t9lM_VXofXTg.png" /></figure><p>Asi es como debe de verse:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*LD1N1BNKpt2Uj132Sdms6g.png" /></figure><p>Ahora, en “System variables” editaremos la variable “Path”. Agregaremos las carpetas bin y sbin de Hadoop. Ambas carpetas están en el directorio raíz de Hadoop. Por lo tanto, la ruta bin es la misma que acaba de asignar a la variable HADOOP_HOME (C:\hadoop-3.2.2\bin); y para la ruta sbin, en mi caso será C:\hadoop-3.2.2\sbin</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*TVjrDGXcIKzLzvGkTLrbMA.png" /></figure><p>Ahora, necesita arreglar algunos archivos de configuración. Para hacerlo, debe reemplazar la carpeta bin de Hadoop con otra carpeta bin que ya contiene todos los archivos configurados correctamente. Primero, descargue este archivo comprimido (hadoop3_xFixedbin.rar). Luego, debe eliminar la carpeta bin:</p><p>Después de eso, debe descomprimir hadoop3_xFixedbin.rar para mover la carpeta bin fija a la ubicación raíz de Hadoop:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*GmkAKQdGar-MPqDfOGEuiA.png" /></figure><p>Ahora tiene Hadoop configurado en su computadora.</p><p><strong>Verificación de la instalación de Hadoop<br></strong>Para verificar si Hadoop funciona correctamente, debe ejecutarlo. Para eso, abra <em>“Command Prompt”</em> en la barra de búsqueda de Windows.</p><p>Ahora, debe ir al directorio sbin dentro de la carpeta hadoop; en mi caso, el directorio sbin está en <em>C:\hadoop-3.2.2\sbin</em>. Una vez que haya escrito esta ruta, presione Enter. Luego escriba <em>start-dfs.cmd</em>, presione enter, y por ultimo escriba <em>start-yarn.cmd</em>. Tal como se muestra a continuación:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*wDPahulWVFvFUbs8ULJiFQ.png" /></figure><p>Verá que se abrirán varias indicaciones de comando. Si Hadoop está configurado correctamente, estas cuatro indicaciones de comando permanecerán abiertas y ejecutándose:</p><ul><li>hadoop datanode</li><li>hadoop namenode</li><li>yarn resourcemanager</li><li>yarn nodemanager</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*0iFNxN8Dw5sNRKZp1DJLHQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*3A16ez6RRxIikWovkEMoXA.png" /></figure><h3>¡Listo, hadoop esta corriendo correctamente!</h3><h3>Counting Words: Ejemplo.</h3><p>Abra un nuevo símbolo del sistema como administrador; luego, lo primero que debe hacer es crear una carpeta de entrada en el sistema de archivos de Hadoop usando el comando hadoop <em>fs -mkdir /input</em>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*L9vMl5ynEaeLIrAberqFIg.png" /></figure><p>Abra su navegador web preferido e ingrese la dirección: localhost:9870</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*LSXLhmFb-CQwRQK96wumuA.png" /></figure><p>Vaya directo a “utilities”, luego “Browse the file system”.</p><p>Necesita un texto para contar palabras, en mi caso elegí <em>“Los miserables”</em> de Victor Hugo.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*YM_6o7ppFVJ5pDYMQySxmA.png" /></figure><p>Ahora, debe colocar este archivo dentro de la carpeta /input creada en el sistema de archivos de Hadoop. En mi caso sería <em>hadoop fs -put D:\Users\adile\Documents\Los_Miserables.txt /input:</em></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*tprES7b3jnd0TtPtRVrQKg.png" /></figure><p>Ahora necesita ejecutar el siguiente comando: <em>hadoop jar C:\hadoop-3.2.2\share\hadoop\mapreduce\hadoop-mapreduce-examples-3.2.2.jar wordcount /input /output</em></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*PpbXG29P_BIsaRNzjReNsA.png" /></figure><p>Si abro el archivo part-r-00000, podré seleccionar si quiero ver su cabeza (primero) o su cola (último) 32 Kb de información. Por ejemplo, echaré un vistazo al encabezado del archivo:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/898/1*ka5POoO61RJZIbzTM6D-hg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/930/1*a6bKOih0lQJZBUZTQNsY1g.png" /></figure><p>Para ver todo el archivo, deberá descargarlo y abrirlo en un editor de texto.</p><p>Ahora si ha ejecutado su primer programa MapReduce en su computadora Windows 10.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=d281143b6fc4" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Acceso a la API de Harvard Art Museums con R]]></title>
            <link>https://medium.com/mcd-unison/acceso-a-la-api-de-harvard-art-museums-con-r-8706d3e11f2c?source=rss-db826942d729------2</link>
            <guid isPermaLink="false">https://medium.com/p/8706d3e11f2c</guid>
            <dc:creator><![CDATA[Adilene Calderón Gómez]]></dc:creator>
            <pubDate>Mon, 20 Sep 2021 02:54:47 GMT</pubDate>
            <atom:updated>2021-10-28T18:35:01.504Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/1*BYrZ9w5TRu7lc9a3gMcYsQ.jpeg" /><figcaption>Fotografía de Joanne Ciccarello</figcaption></figure><h3>Introducción</h3><p>Los museos han desempeñado un papel de liderazgo en el desarrollo de la historia del arte, la conservación de la ciencias y en la evolución del museo de arte como institución.</p><p>A través de la investigación, la enseñanza, la capacitación profesional y la educación pública, Harvard Art Museums se esfuerza por promover la comprensión y la apreciación del arte.</p><p>Harvard Art Museums nos proporciona una API, la cuál, permite consultar los datos del museo. La API contiene toda la información sobre obras de arte, artistas, exposiciones y las categorizaciones. Sus datos provienen de tres fuentes: The Museum System, Google Analytics, Artificial Intelligence.</p><p>Los datos de Harvard Art Museums se pueden utilizar para generar investigaciones, explorar las colecciones y crear arte.</p><p>En esta publicación aprenderá que es una API, su utilidad y como recuperar los datos de Harvard Art Museums usando su API.</p><h3>¿Qué es una API y para que sirve?</h3><p>API significa interfaz de programación de aplicaciones. Es un conjunto de definiciones y protocolos que se utiliza para desarrollar e integrar el software de las aplicaciones. Las APIs permiten que sus productos y servicios se comuniquen con otros, sin necesidad de saber cómo están implementados</p><p>La APIs sirve de comunicación con una base de datos, sistemas operativos o protocolos de comunicaciones. Permite utilizar funciones de otro software o aprovechar la insfraestructura que existe en otra plataforma.</p><h3>¿Qué es Harvard Art Museums?</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*DWjcjBPYV14KXxuVzbA7hw.png" /></figure><p>Harvard Art Museums son tres museos de la Universidad de Harvard: the <strong>Fogg Museum</strong> (establecido en 1895), the <strong>Busch-Reisinger Museum</strong> (establecido en 1903), y the <strong>Arthur M. Sackler Museum</strong> (establecido en 1985) y cuatro centros de investigación: the <strong>Center for the Technical Study of Modern Art</strong> (fundado en 2002), the <strong>Harvard Art Museums Archives</strong> y the <strong>Straus Center for Conservation and Technical Studies</strong> (fundado en 1928).</p><p>Las colecciones incluyen aproximadamente 250.000 objetos en todos los medios, que van desde la antigüedad hasta el presente y se originan en Europa, Norteamérica, Norte de África, Medio Oriente, Sur de Asia, Este de Asia y Sudeste de Asia.</p><h4>Algunas colecciones</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*lK2j5EDcqAyKaJ5tiObzsw.jpeg" /><figcaption><a href="https://en.wikipedia.org/wiki/Edgar_Degas">Edgar Degas</a>, <em>The Rehearsal</em>, 1873</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*QxQnAl1bhPxKfGcC-U47uA.jpeg" /><figcaption><a href="https://en.wikipedia.org/wiki/Vincent_van_Gogh">Vincent van Gogh</a>, <em>Self-portrait dedicated to Paul Gauguin</em>, 1888</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/733/1*hi_H5I_Lc5q-9-vMicVNHA.jpeg" /><figcaption><a href="https://en.wikipedia.org/wiki/John_Singer_Sargent">John Singer Sargent</a>, <em>Madame Gautreau (Madame X)</em>, c. 1883</figcaption></figure><h3>¿Cómo se obtiene la API de Harvard Art Museums?</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ampzOLbk1FLTHF1s4vVhdw.png" /></figure><p>Primero visite el sitio <a href="https://harvardartmuseums.org/">web</a> de Harvard Art Museums y vaya a <a href="https://harvardartmuseums.org/collections/api">Application Programming Interface</a> (API), donde le darán las instrucciones necesarias.</p><p>Primero, regístrese para obtener una clave API usando este <a href="https://docs.google.com/forms/d/e/1FAIpQLSfkmEBqH76HLMMiCC-GPPnhcvHC9aJS86E32dOd0Z8MpY2rvQ/viewform">enlace</a>. Recibirá un correo electrónico con una clave única que le permitirá acceder a los datos del museo. Cada clave es única para la persona que la solicita y debe tratarse como una contraseña.</p><h4>Exploración de la API.</h4><p>Para examinar la API, debe crear consultas para que API sepa qué buscar. Una consulta, en este caso es un URL, que consta de varios componentes que actúan como bloques de construcción.</p><p><strong>La consulta tiene la siguiente estructura que consta de cuatro componentes.</strong></p><p><strong><em>Harvard Art Museums URL + recurso + filtro (opcional) + clave API</em></strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*RAnQC5tzthFI1GvoOGUe7g.png" /></figure><p>Veamos el siguiente ejemplo usando el recurso <em>“object”</em> en el año 2002:</p><p><a href="https://api.harvardartmuseums.org/object?2002&amp;apikey=0000-0000-0000-000"><strong>https://api.harvardartmuseums.org/object?2002&amp;apikey=0000-0000-0000-000</strong></a></p><p><strong>Guía de recursos.</strong></p><p><strong>Object</strong>: Contiene información detallada sobre los elementos de las colecciones de Harvard Art Museums.</p><p><strong>Person: </strong>Contiene información sobre entidades que tienen alguna asociación a obras de arte de la colección o publicaciones. Las asociaciones incluyen artistas, modelos, impresores, donantes, autores, editores y más.</p><p><strong>Exhibition: </strong>Contiene información sobre exposiciones pasadas como documentación del historial de exposiciones de un objeto y exposiciones actuales o futuras.</p><p><strong>Publication: </strong>Contiene información sobre publicaciones sobre las que se ha escrito o contienen imágenes de obras de arte de la colección de Harvard Art Museums.</p><p><strong>Gallery: </strong>Contiene información sobre espacios físicos dentro del edificio de los museos en 32 Quincy Street, Cambridge, MA.</p><p><strong>Spectrum: </strong>Contiene una lista de los colores utilizados en el espectro de colores que forma parte de la marca de Harvard Art Museums.</p><p><strong>Classification: </strong>Contiene información sobre los siglos utilizados para describir elementos de las colecciones de Harvard Art Museums.</p><p><strong>Century: </strong>Contiene información sobre los siglos utilizados para describir elementos de las colecciones de Harvard Art Museums.</p><p><strong>Color: </strong>Contiene información sobre los colores utilizados para describir elementos de las colecciones de Harvard Art Museums.</p><p><strong>Culture: </strong>Contiene información sobre las culturas utilizadas para describir elementos en Harvard Art Museums</p><p><strong>Group: </strong>Contiene información sobre las culturas utilizadas para describir elementos en Harvard Art Museums.</p><p><strong>Medium: </strong>Contiene información sobre los medios (los materiales que se aplican en la fabricación de un objeto) utilizados para describir elementos en las colecciones de Harvard Art Museums.</p><p><strong>Period: </strong>Contiene información sobre los períodos (movimientos artísticos dentro de un período de tiempo específico) utilizados para describir elementos en las colecciones de Harvard Art Museums.</p><p><strong>Place: </strong>Contiene información sobre los lugares (estados, países, continentes o regiones históricas) que se utilizan para describir elementos de las colecciones de Harvard Art Museums</p><p><strong>Technique: </strong>Contiene información sobre las técnicas (el proceso mediante el cual se crea un objeto) utilizadas en la producción de artículos en Harvard Art Museums.</p><p><strong>Worktype: </strong>Contiene información sobre los tipos de obras de las colecciones de Harvard Art Museums. Las etiquetas de tipo de trabajo son clasificaciones más específicas del objeto.</p><p><strong>Activity: </strong>Contiene información sobre actividades específicas de los objetos de las colecciones de Harvard Art Museums.</p><p><strong>Site: </strong>Contiene información sobre los sitios que forman parte de Harvard Art Museums.</p><p><strong>Video: </strong>Contiene información sobre los videos producidos por y asociados con Harvard Art Museums.</p><p><strong>Image: </strong>Contiene información sobre las imágenes producidas y asociadas a Harvard Art Museums.</p><p><strong>Audio: </strong>Contiene información sobre los clips de audio producidos por Harvard Art Museums y asociados con ellos.</p><p><strong>Annotation: </strong>Contiene información sobre las anotaciones en las colecciones de Harvard Art Museums.</p><h3>Exportar datos a R</h3><p>La API es un servicio de estilo REST diseñado para desarrolladores que desean explorar e integrar las colecciones de los museos en sus proyectos. La API proporciona acceso directo a datos en formato JSON.</p><p>Para exportar los datos a R se debe contar con las librerías necesarias. Utilizaremos <em>jsonlite</em> para manejar los datos en formato JSON y <em>httr </em>para su interacción.</p><p>Vamos a empezar instalandolas, en caso de aún no contar con ellas.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Wg6bN3IXGVcMjQAa_6Cccw.png" /></figure><p>Las cargaremos para poder utilizarlas.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*xexf7mecl5IZdGTNSjRDjQ.png" /></figure><p>Ahora ya podemos empezar con la exportación de datos. Como tenemos un URL con la dirección del sevidor, utilizaremos la función <em>GET() </em>de la librería <em>httr</em> para poder obtener los datos.</p><p>Se introduce la variable <em>“API” </em>de la siguiente forma. Dado que el URL es único para cada persona, se ha ocultado la APIkey.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*OADDtdTWBPb6WZSmIGTqxQ.jpeg" /></figure><p>La salida de la función <em>GET ()</em> es una lista que contiene toda la información que devuelve el servidor API. Es decir, la variable <em>“API”</em> contiene la respuesta del servidor API a nuestra solicitud.</p><p>Veamos como se ve la variable <em>“API”.</em></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*LxxeezhoCxinVcz3shlwQg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*-IFmVOEAa4mmXlR9eSKtYA.jpeg" /></figure><p>La variable<em> “API”</em> nos da una visión resumida. Nótese que contiene la URL; la fecha y hora en que se realizó la solicitud; el tipo de contenido, que nos dice que los datos tienen un formato json; el tamaño de respuesta y el estatus, que ha sido 200, que corresponde a una solicitud exitosa.</p><p>La variable <em>“API”</em> contiene lo siguiente:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*E-DVRZbTcpFcLBcSgoInoA.png" /></figure><p>Los datos de la variable <em>“API”</em> no se pueden utilizar. Los datos reales están contenidos como Unicode sin procesar en la lista, por lo que debe convertirse a formato JSON. Para eso se debe convertir el Unicode en un vector de caracteres. La función <em>rawToChar () </em>realizará lo deseado, como se muestra a continuación:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*3VnTtBctmjIMtUd3IJC9XA.png" /></figure><p>La información necesaria se encuentra en “<em>content”, por lo que usando “$” </em>seleccionaremos la variable <em>“API” y </em>los datos de<em> “content”.</em></p><p>Esto nos dará una estructura JSON en formato de caracteres, por lo que podemos convertirlo en una estructura de datos usando la función fromJSON() de la biblioteca <em>jsonlite</em>, que guardaremos en la variable <em>“Data”. </em>Así tendremos un formato que podemos manipular fácilmente en <em>R</em>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*NdWtqcIge-V6UQCqR3TYpA.png" /></figure><p>Veamos los nombres del contenido de la variable <em>“Data”.</em></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*3_GYu8CL0diuStOZFUX5IA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*uPZGUABKIJOaH091Z9_WfA.png" /></figure><p>El conjunto de datos que nos interesa ver es <em>“records”. </em>Usemos el operador <em>“$”</em> para mirar directamente los datos.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*CyQjIU0wcYjignP_MVoe6g.png" /></figure><p>Para visualizar mejor los datos usaremos la librería <em>“kableExtra” </em>de la siguiente manera:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*4pwKNiJ7ugwcRIsfpsA07g.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*kXWAvcmSO6-9pSg-BfmDXg.png" /></figure><p>En consecuencia, tenemos un data frame que nos permitirá visualizar y manipular los datos de nuestro interés.</p><h3><strong>Conclusión</strong></h3><p>En los ultimos años, se han generado oportunidades de investigación, por lo que Harvard Art Museums ha digitalizado sus colecciones, permitiendo que el público en general acceda a sus datos.</p><p>Conocer como acceder a la API facilitará la recolección de datos, permitiendole a los interesados del arte aprender, analizar e investigar sobre los datos de los museos.</p><p>Para mayor información, consulte la documentación detallada sobre cómo conectarse, utilizar los recursos de la API y los términos de uso, en este <a href="https://github.com/harvardartmuseums/api-docs">enlace</a>.</p><h3>Referencias</h3><p>Harvard Art Museum <a href="https://harvardartmuseums.org/">https://harvardartmuseums.org</a></p><p>Application Programming Interface (API). <a href="https://harvardartmuseums.org/collections/api">https://harvardartmuseums.org/collections/api</a></p><p>Harvard Art Museums API Documentation <a href="https://github.com/harvardartmuseums/api-docs">https://github.com/harvardartmuseums/api-docs</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=8706d3e11f2c" width="1" height="1" alt=""><hr><p><a href="https://medium.com/mcd-unison/acceso-a-la-api-de-harvard-art-museums-con-r-8706d3e11f2c">Acceso a la API de Harvard Art Museums con R</a> was originally published in <a href="https://medium.com/mcd-unison">MCD-UNISON</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
    </channel>
</rss>