<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Jaemun Jung on Medium]]></title>
        <description><![CDATA[Stories by Jaemun Jung on Medium]]></description>
        <link>https://medium.com/@jaemunbro?source=rss-387ff067938c------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*pApxpkpYQyBf0Z6BLM6sjA.jpeg</url>
            <title>Stories by Jaemun Jung on Medium</title>
            <link>https://medium.com/@jaemunbro?source=rss-387ff067938c------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Fri, 20 Nov 2026 07:30:25 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@jaemunbro/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Kubeflow Pipelines (KFP) v1-v2 버전간 차이 정리 (Breaking Changes)]]></title>
            <link>https://jaemunbro.medium.com/kubeflow-pipelines-kfp-v1-v2-%EB%B2%84%EC%A0%84%EA%B0%84-%EC%B0%A8%EC%9D%B4-%EC%A0%95%EB%A6%AC-breaking-changes-823a29f09716?source=rss-387ff067938c------2</link>
            <guid isPermaLink="false">https://medium.com/p/823a29f09716</guid>
            <category><![CDATA[kubeflow]]></category>
            <category><![CDATA[kfp]]></category>
            <category><![CDATA[pipeline]]></category>
            <category><![CDATA[vertex-ai]]></category>
            <dc:creator><![CDATA[Jaemun Jung]]></dc:creator>
            <pubDate>Mon, 11 Mar 2024 00:46:30 GMT</pubDate>
            <atom:updated>2025-02-04T04:46:49.381Z</atom:updated>
            <content:encoded><![CDATA[<p>2023년 하반기에 Kubeflow Pipelines SDK V2가 릴리즈되었고, <a href="https://www.kubeflow.org/docs/components/pipelines/v2/migration/">https://www.kubeflow.org/docs/components/pipelines/v2/migration</a> 상 볼 수 있듯이, SDK v1과 v2간 변화가 꽤 크다.</p><p>v2에서는 JSON을 더 이상 intermediate representation 형태로 지원하지 않고 YAML만 지원한다. namespace도 변화가 있다.</p><p>SDK v1과 v2간 compatible하지 않은 내용 중 큰 내용은 대부분 Kuebeflow 공식문서의 해당 페이지(<a href="https://www.kubeflow.org/docs/components/pipelines/v2/migration/">https://www.kubeflow.org/docs/components/pipelines/v2/migration/</a>)에 정리되어 있다. 다만 code change의 경우 일부만 추가되어있고, 이중에 필수적인 주요 메소드에 대한 변화도 있어, 해당 내용을 위 문서에 업데이트 하고자 한다.</p><p>Kubeflow 공식문서는 아래 내용 중에서 확실한 일부 내용만 업데이트할 것 같고, 또 업데이트까지는 작성에도 리뷰에도 꽤 시간이 걸릴 수 밖에 없으니, 그 전에 마구 메모해둔 내용을 그대로 먼저 여기 붙여둔다.</p><p>(팀동료분과 KFP v2 tutorial(<a href="https://github.com/kubeflow/pipelines/tree/master/samples">https://github.com/kubeflow/pipelines/tree/master/samples</a>)을 업데이트하면서 마구 정리해놓은 내용이다.)</p><h4>.set_gpu_limit deprecated</h4><p>feat(sdk): deprecate .set_gpu_limit in favor of .set_accelerator_limit #8836 <a href="https://github.com/kubeflow/pipelines/pull/8836">https://github.com/kubeflow/pipelines/pull/8836</a></p><h4>.add_node_selector_constraint deprecated</h4><p>use <a href="https://kubeflow-pipelines.readthedocs.io/en/stable/source/dsl.html#kfp.dsl.PipelineTask.set_accelerator_type">.set_accelerator_type</a> instead</p><h4>ContainerOp deprecated</h4><p><a href="https://www.kubeflow.org/docs/components/pipelines/v2/migration/#containerop-support">https://www.kubeflow.org/docs/components/pipelines/v2/migration/#containerop-support</a></p><p>ContainerOp is deprecated. use the @dsl.container_component decorator.<br>ContainerSpec only accepts three arguments:</p><p>e.g.</p><p>image=’gcr.io/flip-image’<br>command=[‘flip’],<br>argument</p><p>The arguments ContainerOp used to handle need to be handled differently.</p><p><a href="https://kubeflow-pipelines.readthedocs.io/en/1.8.13/source/kfp.dsl.html?highlight=file_outputs#kfp.dsl.ContainerOp">https://kubeflow-pipelines.readthedocs.io/en/1.8.13/source/kfp.dsl.html?highlight=file_outputs#kfp.dsl.ContainerOp</a></p><p><strong><em>class</em>kfp.dsl.ContainerOp(<em>name: str, image: str, command: Union[str, List[str], None] = None, arguments: Union[str, int, float, bool, kfp.dsl._pipeline_param.PipelineParam, List[T], None] = None, init_containers: Optional[List[kfp.dsl._container_op.UserContainer]] = None, sidecars: Optional[List[kfp.dsl._container_op.Sidecar]] = None, container_kwargs: Optional[Dict[KT, VT]] = None, artifact_argument_paths: Optional[List[kfp.dsl._container_op.InputArgumentPath]] = None, file_outputs: Optional[Dict[str, str]] = None, output_artifact_paths: Optional[Dict[str, str]] = None, is_exit_handler: bool = False, pvolumes: Optional[Dict[str, kubernetes.client.models.v1_volume.V1Volume]] = None</em>)</strong></p><ol><li>file_outputs: add an output parameter to the function using a dsl.OutputPath(str) annotation: <a href="https://www.kubeflow.org/docs/components/pipelines/v2/components/container-components/#create-component-outputs">https://www.kubeflow.org/docs/components/pipelines/v2/components/container-components/#create-component-outputs</a></li></ol><h4>caching_strategy deprecated?</h4><p><a href="https://kubeflow-pipelines.readthedocs.io/en/1.8.13/source/kfp.components.structures.html?highlight=max_cache_staleness#kfp.components.structures.CachingStrategySpec">https://kubeflow-pipelines.readthedocs.io/en/1.8.13/source/kfp.components.structures.html?highlight=max_cache_staleness#kfp.components.structures.CachingStrategySpec</a></p><h3>Platform-specific Features</h3><h4>kfp.gcp deprecated (kfp.gcp, kfp.aws, etc)</h4><ul><li><a href="https://github.com/kubeflow/pipelines/blame/master/sdk/python/kfp/deprecated/gcp.py">https://github.com/kubeflow/pipelines/blame/master/sdk/python/kfp/deprecated/gcp.py</a></li><li><a href="https://github.com/kubeflow/pipelines/pull/7291/files">https://github.com/kubeflow/pipelines/pull/7291/files</a></li></ul><p>you may encounter:</p><p>ModuleNotFoundError: No module named ‘kfp.gcp’</p><p>\use kfp.derecated.gcp if it’s really needed. but at leaset it shouldn’t be the best practice that is added on the sample cases.</p><h4>.apply (for v1) deprecated</h4><p>e.g. v100_op.apply(gcp.use_preemptible_nodepool(hard_constraint=True))<br><a href="https://googlecloudplatform.github.io/kubeflow-gke-docs/docs/pipelines/preemptible/#2-schedule-your-pipeline-to-run-on-the-preemptible-vms">https://googlecloudplatform.github.io/kubeflow-gke-docs/docs/pipelines/preemptible/#2-schedule-your-pipeline-to-run-on-the-preemptible-vms</a></p><p>[sdk] How to apply PVCs to pipeline tasks when using KFP SDK v2</p><p>#8596 <a href="https://github.com/kubeflow/pipelines/issues/8596#issuecomment-1367640471">https://github.com/kubeflow/pipelines/issues/8596#issuecomment-1367640471</a></p><p>PVC is not supported yet in SDK v2. It’s on our roadmap to be supported once platform-specific runtime support is ready</p><p><a href="https://docs.google.com/document/d/10Cx-B18V6gR35VOmTe8_8gB67srOFF_un7NN8qXP1T4/edit#heading=h.x9snb54sjlu9">https://docs.google.com/document/d/10Cx-B18V6gR35VOmTe8_8gB67srOFF_un7NN8qXP1T4/edit#heading=h.x9snb54sjlu9</a></p><h3>Platform specific runtime</h3><p><a href="https://www.kubeflow.org/docs/components/pipelines/v2/platform-specific-features/">https://www.kubeflow.org/docs/components/pipelines/v2/platform-specific-features/<br></a>Currently the <strong>only KFP SDK platform-specific plugin library is kfp-kubernetes,</strong> which is supported by the Kubeflow Pipelines open source backend and enables direct access to some Kubernetes resources and functionality.</p><p>Kubernetes related ops<br>ResourceOp, VolumeOp, VolumeSnapshotOp, PiplelineVolume are removed. To manipulate Kubernetes resources, use the <a href="https://kfp-kubernetes.readthedocs.io/">kfp-kubernetes</a> plugin library instead.</p><h4>kfp.dsl.PipelineConf removed</h4><p>Any pipeline level settings like add_op_transformer, set_dns_config, set_image_pull_policy, set_image_pull_secrets, set_parallelism, etc are not available in v2. Getting pipeline configuration in runtime with kfp.dsl.get_pipeline_conf is not available as well.</p><h4>kfp.dsl.graph_component removed</h4><p>Recursive calls with the @graph_component decorator are not available in v2.</p><h4>kfp.dsl.SubGraph removed</h4><h4>kfp.dsl.RUN_ID_PLACEHOLDER, kfp.dsl.EXECUTION_ID_PLACEHOLDER removed</h4><p>replaced with other placeholders:</p><p>PIPELINE_JOB_NAME_PLACEHOLDER<br>PIPELINE_JOB_RESOURCE_NAME_PLACEHOLDER<br>PIPELINE_JOB_ID_PLACEHOLDER<br>PIPELINE_TASK_NAME_PLACEHOLDER<br>PIPELINE_TASK_ID_PLACEHOLDER<br>PIPELINE_ROOT_PLACEHOLDER<br>PIPELINE_JOB_CREATE_TIME_UTC_PLACEHOLDER<br>PIPELINE_JOB_SCHEDULE_TIME_UTC_PLACEHOLDER</p><h4>`create_component_from_func`</h4><h3>v1-v2 stale issues</h3><ul><li><a href="https://github.com/kubeflow/pipelines/issues/8936">[sdk] Cannot pass a GCSPath output as an input to a python function component yaml spec</a></li><li><a href="https://github.com/kubeflow/pipelines/issues/4710">convert string to GCSPath object or create one #4710</a></li><li><a href="https://github.com/kubeflow/pipelines/issues/7629">[backend] OutputPath is giving “permission denied” — why? #7629</a></li><li>PipelineParameterChannel could be not supported as input parameter</li><li>Some methods like set_memory_limit, set_memory_request, set_cpu_limit, set_cpu_request, set_accelerator_type expect str as input. If you try to use outputs of previous op like <em>prev_op.outputs[‘output_name’]</em>, you will encounter type error exceptions. Here is how the exception looks like, TypeError: expected string or bytes-like object, got ‘PipelineParameterChannel’</li></ul><h3>Vertex AI Pipelines compatibility issues</h3><ul><li>List of dictionaries with ParallelFor is not supported in Vertex AI Pipeline</li><li>To use list of dictionaries as input for Vertex AI Pipeline, you should stringify each dictionary with json.dumps()</li><li>Related issue: <a href="https://github.com/kubeflow/pipelines/issues/9366">https://github.com/kubeflow/pipelines/issues/9366</a></li><li>Compiled yaml file from pipeline with <a href="https://kfp-kubernetes.readthedocs.io/">kfp-kubernetes</a> plugin library failed to pass validation</li><li>Sample error message from Cloud Console: Cannot read properties of null (reading ‘pipelineInfo’)</li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=823a29f09716" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[[MLOps] Vertex AI Pipelines (Feat. Kubeflow Pipelines) 알아보기]]></title>
            <link>https://jaemunbro.medium.com/mlops-gcp-vertex-ai-pipelines-5dbbcf951496?source=rss-387ff067938c------2</link>
            <guid isPermaLink="false">https://medium.com/p/5dbbcf951496</guid>
            <category><![CDATA[파이프라인]]></category>
            <category><![CDATA[kubeflow]]></category>
            <category><![CDATA[vertex-ai]]></category>
            <category><![CDATA[pipeline]]></category>
            <dc:creator><![CDATA[Jaemun Jung]]></dc:creator>
            <pubDate>Sun, 16 Jul 2023 15:59:41 GMT</pubDate>
            <atom:updated>2024-04-29T07:59:51.342Z</atom:updated>
            <content:encoded><![CDATA[<p>Vertex AI Pipelines는 Google Cloud의 MLOps 솔루션 중 하나입니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*NZjt6v5-lbw_iqs3.png" /><figcaption>MLOps 의 중심에서 orchestration 역할을 하는 Pipelines (source: <a href="https://codelabs.developers.google.com/vertex-pipelines-intro#1">https://codelabs.developers.google.com/vertex-pipelines-intro#1</a>)</figcaption></figure><p>시작하기 전에, <strong>ML Pipeline이란, </strong>한마디로 요약하면 ML workflow를 자동화하는 것입니다.</p><p>아래 그림의 “automatedpipeline”와 같은 ML workflow를 Pipeline으로 구성한 것입니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*bOB6RupxzYfIVNCNY2YptQ.png" /><figcaption>MLOps Pipelines (source: <a href="https://cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning#mlops_level_2_cicd_pipeline_automation">https://cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning#mlops_level_2_cicd_pipeline_automation</a>)</figcaption></figure><p>즉 대표적으로 Data Extraction — Data Validation — Data Preparation — Model Training — Model Evaluation — Model Validation 과 같은 workflow를 자동화 하며, 그 과정에서 MLOps Pipeline 의 다른 구성 요소들인 feature data를 저장하고 활용하는 Feature Store, Pipeline과 모델의 산출물을 저장할 ML Metadata store, 그리고 트레이닝된 모델의 Model Registry 에 저장하는 작업 등 다양한 workflow를 orchestration 하는 역할을 Pipeline을 통해 수행하게 됩니다.</p><p>위와 같은 Pipeline 구성을 통해, 반복되는 작업을 자동화할 수 있고, Pipeline을 재사용할 수 있게 됩니다. 또 파이프라인에서 나온 산출물이 저장된 ML Metadata store 정보를 통해 각 모델 버전별 성능 비교 및 모니터링도 용이합니다. 특히, 각 ML process의 step을 컨테이너화하고 인풋, 아웃풋으로만 연결하여, 각 step간 의존성을 줄이고 필요에 따라 효율적으로 스텝(컨테이너)를 갈아끼울 수 있습니다.</p><p>참고로 Google cloud에는 ML 솔루션 패키지로 AI Platform과 Vertex AI 두가지가 있고, 두 제품 모두 Pipelines (AI Platform Pipelines, Vertex AI Pipelines) 제품을 갖고 있어서 좀 헷갈립니다. (저는 헷갈렸음) 간단히 이야기하자면 AI Platform AI는 예전 버전이고, 장기적으로는 deprecated 가능성이 있으므로, 신규 유저는 Vertex AI를 사용하는 것이 적합합니다.</p><p>기존 AI Platform Pipelines 사용을 위해서는 먼저 dedicated Kubernetes Cluster 구성이 필요하며 해당 Kubernetes Cluster위에 open source KFP Pipeline을 구성하도록 구현되어있는데, Vertex AI에서는 이러한 Kubernetes Cluster에 대한 관리를 모두 내부 프로젝트에서 자동화하여 관리하며, UI 및 인터페이스도 Vertex AI에서 full managed service로 사용이 가능하도록 구현되었습니다. 따라서 ML Engineer가 ML Pipeline 개발 및 운영에만 집중할 수 있습니다.</p><p>아래에서는 AI Platform Pipelines과 Vertex AI Pipelines 중 <strong>Vertex AI Pipeline</strong>에 대해서, 또한 Vertex AI Pipelines에서 지원하는 SDK TFX, Kubeflow 중 <strong>Kubeflow Pipelines</strong>를 중심으로 알아보았습니다.</p><h3><strong>Kubeflow Pipelines SDK와 Tensorflow Extended (TFX)</strong></h3><p>Vertex AI Pipelines은 <strong>Kubeflow Pipelines</strong> SDK와 <strong>Tensorflow Extended (TFX) </strong>중 하나를 선택하여 구현할 수 있습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/180/1*dv4EXj5Q8ZO1oYoRkougFA.png" /></figure><p>ML workflow가 Tensorflow를 이용하여 Terabytes 단위의 structured/text data를 처리하는 경우를 제외하고, 일반적으로 Vertex AI Pipeline에서는 Kubeflow Pipelines SDK 사용을 권장합니다. Kubeflow Pipelines SDK를 사용하면 custom component 외에도 제공되는<a href="https://cloud.google.com/vertex-ai/docs/pipelines/components-introduction"> Google Cloud Pipelines components </a>(GCPC) [1] 를 사용하여 workflow를 상대적으로 쉽게 구현할 수 있습니다. Kubeflow Pipelines를 직접 운영할 때와 Vertex Pipelines에서 운영할 때의 가장 큰 차이 점은 Kubernetes Cluster를 운영할 필요가 없다는 것입니다. 특히 GCPC를 활용하는 경우 관련된 리소스는 GCPC를 통해 serverless로 모두 managed service로 제공됩니다.</p><p>본 글에서는 Kubeflow를 예시로 사용하겠습니다.</p><p>[1] GCPC는 Google Cloud에서 제공하는 prebuilt된 Kubeflow Pipelines component (first party component) 들입니다. 성능 및 효율성 등의 최적화 외에도 표준화된 artifact type, debugging 용이성 등 만약 custom component 가 반드시 필요한 상황이 아니라면 GCPC를 사용하는 것이 일반적으로 효율적일 것으로 보입니다.</p><h3><strong>Pipeline Workflow</strong></h3><ul><li><strong>Pipeline step </strong>(component instance) 은<strong> <br>- input<br>- output <br>- container image </strong>를 가집니다. 이 input과 output을 통해 다른 component step과 연결됩니다.</li><li>Pipeline간의 input — output 연결과 의존성을 기반으로 workflow graph, <strong>DAG</strong> (directed acyclic graph) 가 그리고, step을 수행합니다.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*HKP8vFVoJrA5uvX9.png" /><figcaption>Kubeflow DAG 예시 (source: <a href="https://www.kubeflow.org/docs/components/pipelines/v1/concepts/graph/">https://www.kubeflow.org/docs/components/pipelines/v1/concepts/graph/</a>)</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*cETo3U6qa3eDXv0L.png" /><figcaption>Vertex AI Pipelines DAG 예시. 아무래도 오픈소스인 Kubeflow UI 보다는 UI 및 모니터링 면에서 사용성이 좀 좋아보이긴 합니다 (source: <a href="https://cloud.google.com/blog/topics/developers-practitioners/use-vertex-pipelines-build-automl-classification-end-end-workflow">https://cloud.google.com/blog/topics/developers-practitioners/use-vertex-pipelines-build-automl-classification-end-end-workflow</a>)</figcaption></figure><p>Pipeline을 컴파일하면, Pipelines SDK가 step간 data dependency를 분석해 workflow graph를 생성합니다.</p><p>몇가지 대표적인 component type은:</p><ul><li><strong>Ingest data</strong>: training data를 pipeline으로 로드합니다.</li><li><strong>Preprocess data</strong>: ingest data step으로부터 data를 받아 처리합니다.</li><li><strong>Train model</strong>: 위에서 preprocessed training data된 데이터를 받아 모델을 훈련합니다.</li><li><strong>Evaluate model</strong>: 훈련된 모델을 평가합니다.</li><li><strong>Deploy</strong>: prediction에 훈련된 모델을 배포합니다.</li></ul><h3><strong>Understanding the lineage of ML artifacts</strong></h3><ul><li>각 파이프라인은 <strong>metadata</strong>와 <strong>ML artifact (모델/데이터셋)</strong>을 생산합니다. <strong>Artifact lineage</strong>는 <strong>training data, hyperparameter 등 모델 트레이닝에 쓰인 모든 factor</strong>를 포함합니다.</li><li>Artifact lineage를 통해 Pipeline run별 성능 및 정확도를 확인할 수 있습니다.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*NGEDzAVVBVvqPbgYwp2veQ.png" /><figcaption>Artifact Lineage: Artifact 가 어디에서 쓰였는지 Lineage를 볼 수 있음</figcaption></figure><ul><li>artifact와 metadata는 <strong>Vertex ML Metadata</strong>에 저장됩니다.</li><li>metadata를 통해 가장 accurate한 모델을 만드는 Pipeline이 어떤 것인지, 어떤 hyperparameter를 사용하였는지 등을 알아볼 수 있습니다.</li></ul><h3><strong>Kubeflow Pipelines DSL package로 Workflow 구성</strong></h3><ul><li><a href="https://kf-pipelines.readthedocs.io/en/latest/source/kfp.dsl.html"><strong>kfp.dsl package</strong></a>는 Pipeline과 component를 구성하기 위한 domain-specific language (DSL) 패키지 입니다.</li><li><a href="https://www.kubeflow.org/docs/components/pipelines/v1/concepts/component/"><strong>Kubeflow pipeline component</strong></a>는 pipeline step을 생성하기 위한<strong> factory function</strong>입니다. 각각의 component는 <strong>input, output, component implementation</strong>을 포함합니다.</li></ul><h4>Worflow 정의 예시</h4><pre>import kfp<br>from google.cloud import aiplatform<br>from google_cloud_pipeline_components import v1<br><br>project_id = PROJECT_ID<br>pipeline_root_path = PIPELINE_ROOT<br><br># Pipelines Workflow 정의<br>@kfp.dsl.pipeline(name=&quot;automl-image-training-v2&quot;, <br>  pipeline_root=pipeline_root_path)<br><br>def pipeline(project_id: str):<br>  # step 1. dataset generator<br>  # 해당 step은 input argument를 받고, `ds_op` 변수에 output을 정의합니다.<br>  # `ds_op`는 output을 returned 객체에 정의하는 것이 아니며, 해당 value는 dsl.pipeline 레벨에서 접근은 불가능합니다.<br>  # 이 객체의 value는 downstream component에서 input으로서만 접근할 수 있습니다.<br>  ds_op = v1.dataset.ImageDatasetCreateOp(<br>            project=project_id,<br>            display_name=&quot;flowers&quot;,<br>            gcs_source=&quot;gs://cloud-samples-data/vision/automl_classification/flowers/all_data_v2.csv&quot;,<br>            import_schema_uri=aiplatform.schema.dataset.ioformat.image.single_label_classification,<br>          )<br>  <br>  # step 2. model training component<br>  # 위 첫번째 step으로부터의 output을 받아, component의 input argument로 넣습니다.<br>  # step의 output을 training_job_run_op에 넣습니다.<br>  training_job_run_op = v1.automl.training_job.AutoMLImageTrainingJobRunOp(<br>                        project=project_id,<br>                        display_name=&quot;train-iris-automl-mbsdk-1&quot;,<br>                        prediction_type=&quot;classification&quot;,<br>                        model_type=&quot;CLOUD&quot;,<br>                        dataset=ds_op.outputs[&quot;dataset&quot;],<br>                        model_display_name=&quot;iris-classification-model-mbsdk&quot;,<br>                        training_fraction_split=0.6,<br>                        validation_fraction_split=0.2,<br>                        test_fraction_split=0.2,<br>                        budget_milli_node_hours=8000,<br>                        )<br><br>  # step 3. Create endpoint<br>  create_endpoint_op = v1.endpoint.EndpointCreateOp(<br>                        project=project_id,<br>                        display_name = &quot;create-endpoint&quot;,<br>                        )<br>                      <br>  # step 4. deploy<br>  model_deploy_op = v1.endpoint.ModelDeployOp(<br>                    model=training_job_run_op.outputs[&quot;model&quot;],<br>                    endpoint=create_endpoint_op.outputs[&#39;endpoint&#39;],<br>                    automatic_resources_min_replica_count=1,<br>                    automatic_resources_max_replica_count=1,<br>                    )</pre><p>Pipeline이 정의되면, Pipelines을 YAML file로 컴파일합니다. 해당 YAML파일에 Pipeline을 수행하기 위한 모든 정보가 포함됩니다.</p><pre>from kfp import compiler<br>compiler.Compiler().compile(<br>                            pipeline_func=pipeline,<br>                            package_path=&#39;image_classif_pipeline.yaml&#39;<br>                            )</pre><p>YAML format으로 compile된 pipeline을 제출합니다.</p><pre>import google.cloud.aiplatform as aip<br># Before initializing, make sure to set the GOOGLE_APPLICATION_CREDENTIALS<br># environment variable to the path of your service account.<br>aip.init(<br>        project=project_id,<br>        location=PROJECT_REGION,<br>        )<br># Prepare the pipeline job<br>job = aip.PipelineJob(<br>                      display_name=&quot;automl-image-training-v2&quot;,<br>                      template_path=&quot;image_classif_pipeline.yaml&quot;,<br>                      pipeline_root=pipeline_root_path,<br>                      parameter_values={<br>                                        &#39;project_id&#39;: project_id<br>                                        }<br>                      )<br>job.submit()</pre><h3>Kubeflow Pipeline 구성을 위한 Best Practice</h3><ul><li>component의 재사용성 향상을 위해, 각각의 component는 단일 기능만 갖도록 하는 것이 좋습니다.</li><li>가능한 경우 최대한 <a href="https://cloud.google.com/vertex-ai/docs/pipelines/components-introduction">Google Cloud Pipeline Components</a>과 같은 증명된 component를 재사용하여 디자인하는 것이 좋습니다.</li><li>Kubeflow Pipelines SDK를 통해 ML workflow를 구성</li><li>Component의 코드를 Container image로 패키징합니다. pipeline이 어떤 language로 쓰였든 container image로 패키징할 수 있습니다.</li></ul><h3>Kubeflow Components</h3><p>(아래는 SDK v2 기준입니다. SDK v1과 v2는 component decorator 등 정의/사용 방법이 다릅니다.)</p><ul><li>Component는 input과 user가 정의하는 logic으로 구성되며, output을 생성할 수 있습니다. component가 인스턴스화 되면 이 것을 task라고 부릅니다.</li><li>KFP는 크게 두가지의 component 구성 방법을 제공합니다.</li></ul><h4>Python Components</h4><p><strong>1. Lightweight Python Components</strong></p><p>@dsl.component decorator로 정의합니다.</p><p>Python Component에는 두가지 Requirement가 있습니다.</p><p>(1) Type annotations: parameters와 artifacts에 대한 type annotation이 필요합니다.</p><p>(2) Hermetic: 밀폐/밀봉의 의미인데, Python function은 해당 function body 외에서 정의된 symbol은 참조하지 않아야 합니다.</p><pre># non-example! 오류 예시<br>INVALID_CONSTANT = 2<br>@dsl.component<br>def errored_double(a: int) -&gt; int:<br>  &quot;&quot;&quot;Fails at runtime.&quot;&quot;&quot;<br>  return INVALID_CONSTANT * a</pre><pre>@dsl.component<br>def print_env():<br>  import os<br>  print(os.environ)</pre><p>실제 사례에서는 위와 같이 밀폐된 function 형태가 상당히 제약이 될 수 있습니다. Containerized Python Component는 위와 같은 제약이 없습니다.</p><p><strong>2. Containerized Python Component<br></strong>Container Component는 위 Lightweight Python Component와 달리, image, command, args를 직접 지정할 수 있습니다. decorator로 @dsl.container_component를 지정하며, dsl.ContainerSpec을 return합니다. dsl.ContainerSpec은 image, command, args를 argument로 받을 수 있습니다.</p><pre>from kfp import dsl<br><br>@dsl.container_component<br>def say_hello():<br>  return dsl.ContainerSpec(image=&#39;alpine&#39;, command=[&#39;echo&#39;], args=[&#39;Hello&#39;])</pre><h3>Build and Run a Vertex Pipeline</h3><h4>Machine Configuration</h4><p>Vertex AI CustomJob은 기본적으로 e2-standard-4 machine(4 core CPUs and 16GB memory)에서 수행되나, 필요에 따라 원하는 resource를 지정할 수 있습니다.</p><pre>from kfp import dsl<br>@dsl.pipeline(name=&#39;custom-container-pipeline&#39;)<br>def pipeline():<br>  generate = generate_op()<br>  train = (train_op(<br>                    training_data=generate.outputs[&#39;training_data&#39;],<br>                    test_data=generate.outputs[&#39;test_data&#39;],<br>                    config_file=generate.outputs[&#39;config_file&#39;]<br>                    ).<br>            set_cpu_limit(&#39;CPU_LIMIT&#39;).<br>            set_memory_limit(&#39;MEMORY_LIMIT&#39;).<br>            add_node_selector_constraint(SELECTOR_CONSTRAINT).<br>            set_gpu_limit(GPU_LIMIT)<br>            )</pre><p>혹은, create_custom_training_job_from_component 메소드를 이용해 아예 machine type을 지정할 수도 있습니다.</p><h3>Cloud Fuse</h3><p>Kubeflow Pipelines와 Vertex AI Pipelines은 Storage 활용이 다릅니다. Kubeflow Pipelines 에서는 Kubernetes 리소스를 Persistent Volume으로 활용하지만 Vertex AI Pipelines에서는 Cloud Storage를 사용하며, Cloud Storage FUSE[2]를 통해 component에 mounted 됩니다.</p><p><a href="https://cloud.google.com/storage/docs/gcs-fuse">[2] Cloud Storage FUSE<br></a>Cloud Storage 버킷을 로컬 파일 시스템으로 마운트하고 액세스할 수 있게 해주는 adapter. 애플리케이션은 standard file system semantic을 사용하여 bucket object를 읽고 쓸 수 있습니다. Google에서 지원하는 오픈소스 입니다.</p><h3>참고할만한 자료</h3><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fwww.youtube.com%2Fembed%2FJrh-QLrVCvM%3Ffeature%3Doembed&amp;display_name=YouTube&amp;url=https%3A%2F%2Fwww.youtube.com%2Fwatch%3Fv%3DJrh-QLrVCvM&amp;image=https%3A%2F%2Fi.ytimg.com%2Fvi%2FJrh-QLrVCvM%2Fhqdefault.jpg&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=youtube" width="854" height="480" frameborder="0" scrolling="no"><a href="https://medium.com/media/47bd81d801c34c423b00410c3bd0e9ef/href">https://medium.com/media/47bd81d801c34c423b00410c3bd0e9ef/href</a></iframe><ul><li>Vertex AI Pipelines tutorial notebook 모음: <a href="https://cloud.google.com/vertex-ai/docs/pipelines/notebooks">https://cloud.google.com/vertex-ai/docs/pipelines/notebooks</a></li></ul><h3>Reference</h3><ul><li><a href="https://cloud.google.com/vertex-ai/docs/pipelines/introduction">https://cloud.google.com/vertex-ai/docs/pipelines/introduction</a></li><li><a href="https://cloud.google.com/vertex-ai/docs/pipelines/build-pipeline">https://cloud.google.com/vertex-ai/docs/pipelines/build-pipeline</a></li><li><a href="https://www.kubeflow.org/docs/components/pipelines/v2/components/lightweight-python-components/">https://www.kubeflow.org/docs/components/pipelines/v2/components/lightweight-python-components/</a></li><li><a href="https://cloud.google.com/blog/topics/developers-practitioners/use-vertex-pipelines-build-automl-classification-end-end-workflow">https://cloud.google.com/blog/topics/developers-practitioners/use-vertex-pipelines-build-automl-classification-end-end-workflow</a></li></ul><h3>Disclaimer</h3><p>위 글은 개인적으로 작성한 것입니다. Google의 공식 문서 및 의견과 다를 수 있습니다.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=5dbbcf951496" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[[Apache Spark] 트러블슈팅 가이드]]></title>
            <link>https://jaemunbro.medium.com/spark-troubleshooting-cheatsheet-%EC%8A%A4%ED%8C%8C%ED%81%AC-%ED%8A%B8%EB%9F%AC%EB%B8%94%EC%8A%88%ED%8C%85-%EA%B0%80%EC%9D%B4%EB%93%9C-2dc2418b7623?source=rss-387ff067938c------2</link>
            <guid isPermaLink="false">https://medium.com/p/2dc2418b7623</guid>
            <category><![CDATA[spark]]></category>
            <category><![CDATA[troubleshooting]]></category>
            <category><![CDATA[error]]></category>
            <category><![CDATA[issues]]></category>
            <dc:creator><![CDATA[Jaemun Jung]]></dc:creator>
            <pubDate>Thu, 04 May 2023 14:36:40 GMT</pubDate>
            <atom:updated>2023-06-13T02:59:52.630Z</atom:updated>
            <content:encoded><![CDATA[<h3>Apache Spark Troubleshooting Cheatsheet</h3><p>Apache Spark의 이슈 사례들과 그 해결 방법들에 대해 알아보았습니다.<br>이슈들은 직접 겪은 것들에 더해 하단 링크의 케이스들을 취합하였습니다.</p><h3>Basic Tips for Troubleshooting</h3><h4>verbose mode</h4><pre>spark-submit --driver-memory 10g --verbose --master yarn --executor memory...</pre><p>트러블슈팅을 위해 verbose mode를 활용하자. <br>다음과 같은 정보들이 프린트된다.<br>- all default properties<br>- command line options<br>- setting from spark ‘conf’ file<br>- setting from CLI</p><h4>executor thread &amp; heap dump</h4><p>jmap, jstack, jstat, jhat과 같은 OpenJDK 툴을 통해 executor의 thread dump나 heap dump를 떠볼 수 있다. YARN 컨테이너의 pid를 찾아서 사용한다.</p><ul><li>for full thread dump<br>jstack -l 355583 &gt; javacore.355583</li><li>for full heap dump<br>jmap -dump:live,format=b,file=heapdump.355583 355583</li></ul><h3>Error Cases</h3><h4>1. Compiled OK, but run-time NoClassDefFoundError</h4><pre>NoClassDefFoundError: Exception in thread &quot;main&quot; java.lang.NoClassDefFoundError: <br>org/apache/kafka/clients/producer/KafkaProducer at java.lang.Class.getDeclaredMethods0(Native Method) at java.lang.Class.privateGetDeclaredMethods(Class.java:2701) at java.lang.Class.privateGetMethodRecursive(Class.java:3048) at java.lang.Class.getMethod0(Class.java:3018)</pre><p>`--packages` 를 통해 Maven Jar 포함.</p><pre>spark-submit \<br>--driver-memory 12g \<br>--verbose \<br>--master yarn-client \<br>--executor-memory 4096m \<br>--num-executors 20  \<br>--packages org.apache.spark:spark-streaming-kafka_2.10:1.5.1</pre><ul><li>repo look up 순서<br>1. local Maven repo - local machine<br>2. Maven central - Web<br>3. Additional remote repositories specified in - repositories</li></ul><h4>2. No space left on device</h4><pre>stage 89.3 failed 4 times, most recent failure: Lost task 38.4 in stage 89.3 (TID 30100, rhel4.cisco.com): <br>java.io.IOException: No space left on device at java.io.FileOutputStream.writeBytes(Native Method) at java.io.FileOutputStream.write(FileOutputStream.java:326) at org.apache.spark.storage.TimeTrackingOutputStream.write(TimeTrackingOutputStream.java:58) at java.io.BufferedOutputStream.flushBuffer(BufferedOutputStream.java:82) at java.io.BufferedOutputStream.write(BufferedOutputStream.java:126)</pre><p>얼마전 운영중인 클러스터에서 발생했던 에러다.<br>스파크가 map output file들과 RDD를 저장해두는 /tmp가 꽉찬 경우다. 일단은 cron에 정기적으로 tmp 정리를 통해 해결했다.</p><ul><li>spark.local.dir 파라미터값의 디폴트값이 /tmp인데, 근본적으로 /tmp를 Spark의 scratch 공간으로 두는 것 자체가 적절치 않다. 아래 두가지 이유 때문인데</li></ul><ol><li>/tmp는 일반적으로 작은 공간이 할당되며 OS를 위한 공간이다.</li><li>/tmp는 보통 single disk로 IO bottleneck의 원인이 될 수 있다.</li></ol><ul><li>spark-defualts.conf에 아래와 같은 내용을 추가하자.<br>spark.local.dir /data/disk1/tmp,/data/disk2/tmp,/data/disk3/tmp,/data/disk4/tmp,...</li></ul><h4>3. BrodcastTimeout Error</h4><p>역시 최근 클러스터에서 발생했는데, 명확하게 BroadcastTimeout Error라고 떨어지는 경우도 있지만, surface상에는 Catalyst error로 떨어지는 경우도 있는 것 같다.</p><pre>Typical error stream7/query_07_24_48.sql.out:Error: org.apache.spark.sql.catalyst.errors.package$TreeNodeException: execute, tree: at org.apache.spark.sql.execution.exchange.ShuffleExchange$$anonfun$doExecute $1.apply(ShuffleExchange.scala:122) at org.apache.spark.sql.execution.exchange.ShuffleExchange$$anonfun$doExecute $1.apply(ShuffleExchange.scala:113) at org.apache.spark.sql.catalyst.errors.package$.attachTree(package.scala:49) ... 96 more Caused by: java.util.concurrent.TimeoutException: Futures timed out after [800 seconds] at scala.concurrent.impl.Promise$DefaultPromise.ready(Promise.scala:219) at scala.concurrent.impl.Promise$DefaultPromise.result(Promise.scala:223) at scala.concurrent.Await$$anonfun$result$1.apply(package.scala:190) at scala.concurrent.BlockContext$DefaultBlockContext$.blockOn(BlockContext.scala:53) at scala.concurrent.Await$.result(package.scala:190) at org.apache.spark.util.ThreadUtils$.awaitResult(ThreadUtils.scala:190) ... 208 more §  On surface appears to be Catalyst error (optimizer)</pre><p>spark.sql.broadcastTimeout 1200 처럼 parameter를 늘려주는 설정을 통해 해결한다. broadcast하는 size의 limit이 있으므로, 무제한으로 broadcast 되지는 않을 것이라 보았다. 클러스터에서 수행되는 긴 쿼리 기준으로 세팅할 수 있을 것이다.</p><h3>Out of Memory Exceptions</h3><p>Spark Job이 Executor 또는 Driver의 out of memory exception으로 인해 실패했을 수 있다. 일반적으로는 Executor의 메모리가 부족한 상황을 많이 만나게 된다. Executor의 사이즈를 늘려주는 방법을 통해 해결할 수도 있지만, 근본적으로는 애플리케이션이 얼마나 많은 메모리를 필요로 하는지 이해할 수 있어야 한다. 이 부분은 스파크 애플리케이션 최적화에 있어서 가장 기본적이고 필수적인 파라미터 부분이므로 반드시 알아두는 것이 좋다.</p><p>아래 부터 Driver와 Executor의 메모리 에러 상황들에 대해서 더 알아보자.</p><h4>1. Driver Memory Exceptions</h4><p>드라이버 메모리가 부족한 경우는 보통 (휴먼 에러가 아니라면) --driver-memory 설정을 통해 해결한다. Default값인 512M는 일반적으로 운영환경에서는 너무 작은 값이다.<br><strong>Spark SQL과 Spark Strmeaing은 일반적으로 큰 driver heap size를 요구하는 spark job의 형태</strong>다.</p><h4>2. Exception due to Spark driver running out of memory</h4><p>명시적으로 collect() action 등의 driver memory를 사용하지 않는데, driver memory exception이 나서 의아했던 적이 있다. <br>Spark SQL의 Optimizer가 relation을 broadcasting 하기 위해서 중간 과정으로 필요할 수 있다. 드라이버 메모리가 부족한 경우 아래와 같은 형태의 메시지를 볼 수 있다.</p><pre>Exception in thread &quot;broadcast-exchange-0&quot; java.lang.OutOfMemoryError: Not enough memory to build and broadcast the table<br>to all worker nodes. As a workaround, you can either disable broadcast by setting spark.sql.autoBroadcastJoinThreshold to -1<br>or increase the spark driver memory by setting spark.driver.memory to a higher value</pre><p>에러 메시지 상 workaround를 제시된대로, 해당 job에 대해서 브로드캐스트 조인을 끄거나, 브로드캐스트 조인의 threshold를 낮추는 것을 고려할 수도 있다. 아니면 드라이버 메모리의 세팅을 늘려줘서 해결할 수 있다. 메모리가 허용한다면 당연히 후자가 좋을 것이다. <br>--conf spark.driver.memory= &lt;XX&gt;g</p><h4>3. Job failure because the Application Master that launches the driver exceeds memory limits</h4><p>Application Master(AM)이 드라이버를 메모리 리밋을 넘겨서 런칭했고 YARN에 의해 terminated된 경우.</p><pre>Diagnostics: Container [pid=&lt;XXXXX&gt;,containerID=container_&lt;XXXXXXXXXX&gt;_&lt;XXXX&gt;_&lt;XX&gt;_&lt;XXXXXX&gt;] is running beyond physical memory limits.<br>Current usage: &lt;XX&gt; GB of &lt;XX&gt; GB physical memory used; &lt;XX&gt; GB of &lt;XX&gt; GB virtual memory used. Killing container</pre><h4>4. Executor Memory Exceptions</h4><p><strong>4.1. Exception because executor runs out of memory<br></strong>스파크 운영 중 종종 마주치게 되는 전형적인 GC issue.</p><ul><li>garbage collection에 98% 이상의 total time이 쓰여지고 있는 경우</li><li>gc를 통해 2% 이하의 heap이 회복된 경우</li><li>top command를 통해 확인했을 때, 1 cpu core가 100% 사용률을 치고 있는데 완료되고 있는 job은 없는 경우</li></ul><pre>Executor task launch worker for task XXXXXX ERROR Executor: Exception in task XX.X in stage X.X (TID XXXXXX) <br>java.lang.OutOfMemoryError: GC overhead limit exceeded</pre><ol><li>Executor의 사이즈를 늘려주는 방법을 통해 해결한다.<br>--conf spark.executor.memory= &lt;XX&gt;g</li><li>GC policy를 변경한다.</li></ol><ul><li>Spark default는 -XX:UseParallelGC</li><li>-XX:G1GC 로 overwrite을 시도해볼 수 있다.</li><li>Default가 일반적으로 좋지만, 상황에 따라 다를 수 있다. 자세한 내용은 별도의 포스트에서 다루고자 한다. <em>(2년뒤 edit. 그 일(별도의 포스트)은 일어나지 않았다...)</em></li></ul><p><strong>4.2. FetchFailedException due to executor running out of memory</strong></p><pre>ShuffleMapStage XX (sql at SqlWrapper.scala:XX) failed in X.XXX s due to org.apache.spark.shuffle.FetchFailedException:<br>failed to allocate XXXXX byte(s) of direct memory (used: XXXXX, max: XXXXX)</pre><p>executor 메모리를 더 늘려주거나,</p><pre>--conf spark.executor.memory=&lt;XX&gt;g</pre><p>shuffle partition의 수를 더 늘려줄 수 있다.</p><pre>--spark.sql.shuffle.partitions</pre><p><strong>4.3. Executor container killed by YARN for exceeding memory limits</strong></p><p>Executor를 호스닝하는 container가 overhead task나 executor task를 위해서 더 많은 메모리를 필요로 하는 경우 아래와 같은 에러가 발생할 수 있다.</p><pre>org.apache.spark.SparkException: Job aborted due to stage failure: Task X in stage X.X failed X times,<br>most recent failure: Lost task X.X in stage X.X (TID XX, XX.XX.X.XXX, executor X): ExecutorLostFailure<br>(executor X exited caused by one of the running tasks) Reason: Container killed by YARN for exceeding memory limits. XX.X GB<br>of XX.X GB physical memory used. Consider boosting spark.yarn.executor.memoryOverhead</pre><p>executor의 memory overhead 비중을 더 높게 세팅해줄 수 있다. executor의 메모리 오버헤드 사이즈는 executor의 사이즈에 비례해서 커진다.(대략 6-10%) best practice는 executor size에 맞춰서 memory overhead size도 조정해주는 것이다.<br>--conf spark.executor.memoryOverhead=XXXX<br>위의 방법이 통하지 않는다면, 더 큰 인스턴스로 옮기거나, 코어의 개수를 줄여볼 수도 있다.<br>코어의 개수를 줄이면 메모리가 낭비되겠지만, job은 일단 돌릴 수 있을 것이다.<br>--executor-cores=XX</p><p><strong>4.4. FileAlreadyExistsException</strong></p><p>이전에 실패한 task에서 파일들을 남겨서 FileAlreadyExistsException를 발생시킬 수 있다. executor가 메모리 부족으로 실패하고 다른 executor가 다시 해당 task를 이어받았을 때 발생할 수 있다. 어떤 Spark executor가 실패했을 때, Maximum number만큼 retry하고 나서 이 Exception을 남길 수 있다.</p><pre>org.apache.spark.SparkException: Task failed while writing rows<br>at org.apache.spark.sql.execution.datasources.FileFormatWriter$.org$apache$spark$sql$execution$datasources$FileFormatWriter$$executeTask(FileFormatWriter.scala:272)<br>at org.apache.spark.sql.execution.datasources.FileFormatWriter$$anonfun$write$1$$anonfun$apply$mcV$sp$1.apply(FileFormatWriter.scala:191)<br>at org.apache.spark.sql.execution.datasources.FileFormatWriter$$anonfun$write$1$$anonfun$apply$mcV$sp$1.apply(FileFormatWriter.scala:190)<br>at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:87)<br>at org.apache.spark.scheduler.Task.run(Task.scala:108)<br>at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:335)<br>at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)<br>at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)<br>... 1 more<br>Caused by: org.apache.hadoop.fs.FileAlreadyExistsException: s3://xxxxxx/xxxxxxx/xxxxxx/analysis-results/datasets/model=361/dataset=encoded_unified/dataset_version=vvvvv.snappy.parquet already exists<br>at org.apache.hadoop.fs.s3a.S3AFileSystem.create(S3AFileSystem.java:806)<br>at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:914)</pre><ul><li>FileAlreadyExistsException의 root cause인, 가장 앞서 실패한 original executor의 실패 원인을 밝힌다.</li></ul><p><strong>4.5. Max result size exceeded</strong></p><pre>Typical error stream5/query_05_22_77.sql.out:Error: org.apache.spark.SparkException: <br>Job aborted due to stage failure: Total size of serialized results of 381610 tasks (5.0 GB) is bigger than spark.driver.maxResultSize (5.0 GB) (state=,code=0)) §  Likely to occur with complex SQL on large data volumes</pre><p>큰 데이터 볼륨을 처리하기 위한 복잡한 SQL에서 발생할 가능성이 있다.<br>Spark Driver Max Result Size값보다 return된 result가 클 때 발생한다.<br>--conf spark.driver.maxResultSize 재설정을 통해 해결한다.</p><p><strong>4.6. Too Large Frame error</strong></p><p>shuffle data size block의 size가 스파크가 처리 할 수 있는 한계인 2GB보다 큰 경우 발생.</p><pre>org.apache.spark.shuffle.FetchFailedException: Too large frame: XXXXXXXXXX<br>at org.apache.spark.storage.ShuffleBlockFetcherIterator.throwFetchFailedException(ShuffleBlockFetcherIterator.scala:513)<br>at org.apache.spark.storage.ShuffleBlockFetcherIterator.next(ShuffleBlockFetcherIterator.scala:444)<br><br>Caused by: java.lang.IllegalArgumentException: Too large frame: XXXXXXXXXX<br>at org.spark_project.guava.base.Preconditions.checkArgument(Preconditions.java:119)<br>at org.apache.spark.network.util.TransportFrameDecoder.decodeNext(TransportFrameDecoder.java:133)</pre><ol><li>spark.sql.shuffle.partitions의 value를 default 200에서 큰 값으로 조정 -&gt; spark.default.parallelism 을 spark.sql.shuffle.partitions과 동일한 값으로 변경</li><li>issue가 발생하는 dataframe을 밝혀내보자. dataframe 생성 뒤에 action(어떤 action이든, count 등)을 붙여서 dataframe별로 action을 시켜보고, 문제가 생기는 데이터프레임을 밝혀내볼 수 있다. 해당 데이터프레임을 repartition하고 cache해놓는다. 이 때 파티션이 된 데이터의 skewness가 심하다면 코드의 튜닝이 필요할 수 있다.</li></ol><h3>Network Timeout</h3><pre>16/07/09 01:14:18 ERROR spark.ContextCleaner: Error cleaning broadcast 28267 org.apache.spark.rpc.RpcTimeoutException: Futures timed out after [800 seconds]. This timeout is controlled by spark.rpc.askTimeout at org.apache.spark.rpc.RpcTimeout.org$apache$spark$rpc$RpcTimeout$ $createRpcTimeoutException(RpcTimeout.scala:48) at org.apache.spark.rpc.RpcTimeout$$anonfun$addMessageIfTimeout$1.applyOrElse(RpcTimeout.scala:63) at org.apache.spark.rpc.RpcTimeout$$anonfun$addMessageIfTimeout$1.applyOrElse(RpcTimeout.scala:59) at scala.PartialFunction$OrElse.apply(PartialFunction.scala:167) at org.apache.spark.rpc.RpcTimeout.awaitResult(RpcTimeout.scala:83) at org.apache.spark.storage.BlockManagerMaster.removeBroadcast(BlockManagerMaster.scala:143) And timeout exceptions related to the following: spark.core.connection.ack.wait.timeout spark.akka.timeout spark.storage.blockManagerSlaveTimeoutMs spark.shuffle.io.connectionTimeout spark.rpc.askTimeout spark.rpc.lookupTimeout</pre><p>시스템 리소스 상황에 따라 발생할 수 있다. 시스템 리소스의 튜닝이 최우선이고, 안전장치로 timeout setting을 늘려줄 수 있다.<br>spark.network.timeout 파라미터를 늘려준다. default는 120이다. 에러가 발생한 timeout 시간만큼 늘려줘 본다.</p><h3>AWS S3 Errors</h3><p>Spark 의 에러는 아니지만 AWS 위에서 Spark를 활용하는 경우 S3를 데이터 저장소로 쓰는 경우가 많다. S3에 병렬로 데이터를 쓰거나 읽을때 발생할 수 있는 에러다.</p><h4>(AWS) Spark job fails with throttling in S3 when using MFOC</h4><p>무겁고 높은 로드를 일으키는 job에서, Multipart Upload를 활성화한 upload가 실패할 수 있다.</p><p>Spark Override configuration에 아래와 같은 설정들을 잡아준다.</p><ul><li>해당 작업이 실패할 때, 하둡이 다른 pending된 upload까지 다 abort 시킬 수 있다. 이는 연관된 다른 작업들까지 실패될 수 있으므로, spark.hadoop.fs.s3a.committer.staging.abort.pending.uploads 설정을 false로 잡아준다. 이후에 Bucket Lifecycle Policy를 통해 실패된 Multipart Uploaded file을 expire시킬 수 있다.</li><li>spark.hadoop.fs.s3a.committer.threads의 default 값은 8인데, thread의 수를 더 줄여준다.</li><li>spark.hadoop.fs.s3a.committer.threads.max 값을 위의 thread 수와 맞춰준다. (일반적으로 위의 thread 수를 늘려서 s3 loading 작업을 더 빠르게 만들 수 있지만, S3에서 너무 높은 로드로 실패하는 경우가 생긴다면 이를 줄여서 작게 설정해볼 수 있다.)</li><li>spark.hadoop.fs.s3a.connection.timeout값을 default 200000 ms에서 더 높은 값으로 잡아줄 수 있다.</li></ul><h4>(AWS) HTTP 503 “Slow Down” AmazonS3Exception</h4><p>S3에 스파크로 많은 양의 데이터를 쓰려고 시도하다보면 마주치게 되는 에러다. 위의 에러와 같이 Spark 자체의 에러는 아니지만 S3를 데이터 저장소로 쓰는 경우 스파크로 데이트를 쓰거나 읽을때 발생할 수 있다. prefix마다 초당 3,500개의 PUT/COPY/POST/DELETE 및 5,500개의 GET/HEAD 요청을 넘어갈 때 발생한다.</p><pre>java.io.IOException: com.amazon.ws.emr.hadoop.fs.shaded.com.amazonaws.services.s3.model.AmazonS3Exception: Slow Down (Service: Amazon S3; Status Code: 503; Error Code: 503 Slow Down; Request ID: 2E8B8866BFF00645; S3 Extended Request ID: oGSeRdT4xSKtyZAcUe53LgUf1+I18dNXpL2+qZhFWhuciNOYpxX81bpFiTw2gum43GcOHR+UlJE=), S3 Extended Request ID: oGSeRdT4xSKtyZAcUe53LgUf1+I18dNXpL2+qZhFWhuciNOYpxX81bpFiTw2gum43GcOHR+UlJE=</pre><ol><li>가장 기본적인 해결법으로 버킷의 prefix를 더 나누는 방법이 있다.<br>s3://awsexamplebucket/images <br>s3://awsexamplebucket/videos <br>s3://awsexamplebucket/documents<br>그러면 prefix 3개로 나뉘어져서 해당 버킷에 대해 초당 10,500건의 쓰기 요청 또는 16,500건의 읽기 요청을 할 수 있다.<br>이 때 prefix란 bucket + 1 depth까지의 namespace까지를 말한다. 즉 <br>s3://awsexamplebucket/images/prefix_depth_2, s3://awsexamplebucket/images/foo/prefix_depth_3 <br>과 같이 2 depth 이하로 prefix를 나누는 경우는 이 로직이 동작하지 않는다. 우리 시스템 같은 경우 이렇게 여러 depth를 들어간 이후 table구조를 구성하고 있기 때문에 한 때 이 에러를 자주 마주쳤다.</li><li>Amazon S3 요청 수 줄이기<br>디렉토리 구조를 통으로 바꾸는 것은 간단한 일이 아니기 때문에 우리는 Spark Job의 병렬도를 낮춰서 우회했다. 위와 같은 제약사항을 고려하여 최초 S3 bucket 구조를 설계할 때, 한 bucket에 모든 데이터를 담고 그 아래 prefix를 여러 depth로 쪼개는 것보다 목적에 따라 여러개의 bucket을 생성하고 1depth 정도의 prefix 구조로 설계하는 것이 좋아보인다.</li><li>EMRFS 재시도 제한 증가</li></ol><ul><li>[ { &quot;Classification&quot;: &quot;emrfs-site&quot;, &quot;Properties&quot;: { &quot;fs.s3.maxRetries&quot;: &quot;20&quot;, &quot;fs.s3.consistent.retryPeriodSeconds&quot;: &quot;10&quot;, &quot;fs.s3.consistent&quot;: &quot;true&quot;, &quot;fs.s3.consistent.retryCount&quot;: &quot;5&quot;, &quot;fs.s3.consistent.metadata.tableName&quot;: &quot;EmrFSMetadata&quot; } } ]</li></ul><p>2021–04 <a href="https://jaemunbro.github.io/posts/troubleshooting-spark/">github blog</a>에 썼던 글을 옮김. <br>혹 현 상황에 맞지 않는 정보가 있다면 알려주시면 수정하겠습니다.</p><h3>Reference</h3><p><a href="https://docs.qubole.com/en/latest/troubleshooting-guide/spark-ts/troubleshoot-spark.html">https://docs.qubole.com/en/latest/troubleshooting-guide/spark-ts/troubleshoot-spark.html</a><br><a href="https://medium.com/ibm-data-ai/beginners-troubleshooting-guide-for-spark-ibm-analytics-engine-199019cfc6b4">https://medium.com/ibm-data-ai/beginners-troubleshooting-guide-for-spark-ibm-analytics-engine-199019cfc6b4</a><br><a href="https://www.slideshare.net/jcmia1/a-beginners-guide-on-troubleshooting-spark-applications">https://www.slideshare.net/jcmia1/a-beginners-guide-on-troubleshooting-spark-applications</a> <a href="https://aws.amazon.com/ko/premiumsupport/knowledge-center/emr-s3-503-slow-down/">https://aws.amazon.com/ko/premiumsupport/knowledge-center/emr-s3-503-slow-down/</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=2dc2418b7623" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[(문과를 위해 설명하는) 클라우드, 클라우드 컴퓨팅?]]></title>
            <link>https://jaemunbro.medium.com/%EB%AC%B8%EA%B3%BC%EB%A5%BC-%EC%9C%84%ED%95%B4-%EC%84%A4%EB%AA%85%ED%95%98%EB%8A%94-%ED%81%B4%EB%9D%BC%EC%9A%B0%EB%93%9C-%ED%81%B4%EB%9D%BC%EC%9A%B0%EB%93%9C-%EC%BB%B4%ED%93%A8%ED%8C%85-dd5333d1ce2a?source=rss-387ff067938c------2</link>
            <guid isPermaLink="false">https://medium.com/p/dd5333d1ce2a</guid>
            <category><![CDATA[구글클라우드]]></category>
            <category><![CDATA[cloud]]></category>
            <category><![CDATA[클라우드]]></category>
            <category><![CDATA[aws]]></category>
            <category><![CDATA[클라우드컴퓨팅]]></category>
            <dc:creator><![CDATA[Jaemun Jung]]></dc:creator>
            <pubDate>Fri, 17 Feb 2023 17:13:14 GMT</pubDate>
            <atom:updated>2023-02-18T06:06:00.134Z</atom:updated>
            <content:encoded><![CDATA[<h3>클라우드(클라우드 컴퓨팅)이 뭘까?</h3><p>부모님 외 주변 분들이 클라우드가 뭐야?라고 물어보셨는데 막상 설명하기 어려워서 한번 정리해본 포스트.</p><p>아마도 IT 업계 외의 분들은 뉴스에서 클라우드, AWS 등의 단어에 대해서 얼핏 많이 들어보긴 했는데, 이게 구체적으로 무엇인지, 어떻게 산업을 바꾸고 있다는 것인지 와닿지 않을 것이다.</p><p>나도 실제 써보기 전까지는 클라우드 컴퓨팅이란 개념이 전혀 와닿지 않았다. 예전 대학시절에 그리드컴퓨팅, 클라우드컴퓨팅 등의 특징에 대해서 리포트를 쓴 기억이나는데(해피캠퍼스에서 몇 부 팔아서 더 기억이 잘남..ㅎㅎ), 그때는 클라우드란 것이 활용되기 전이라 실제 예시도 없어 좀 막연한, 실체적으로는 잘 와닿지 않던 개념이었다. <br>하지만 어느새 클라우드가 없으면 인터넷이 돌아가지 않게 되었고, 나도 클라우드 관련 일을 하게 되었으니, 그 변화와 발전이 꽤 흥미롭다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/626/0*YTpKXBvqd8EBZwCa" /><figcaption>Image by rawpixel.com on Freepik</figcaption></figure><p>보통 클라우드 서비스를 이야기 하면 대표적으로 구글 포토 또는 구글 드라이브 같은 서비스를 떠올린다. 이뿐만 아니라, 사실 지금 우리가 사용하는 대부분의 인터넷 서비스는 프로그램을 내 컴퓨터에 설치하지 않고 온라인에서 필요한 부분만 연결해서 사용한다는 관점에서 클라우드의 개념과 일치한다.</p><p>쉽게 <strong>네비게이션</strong>의 예시를 들어보자. <br>예전에 자동차에 설치하여 쓰던 네비게이션은 모든 지도 정보를 작은 네비게이션 컴퓨터 안에 넣어두고 사용하는 형태였다. 때문에 도로 정보 업데이트도 업체에 방문해서 USB를 통해 다운로드 받아야만 가능했고 실시간 교통정보는 당연히 반영되지 않았다. 하지만 지금 사용하는 티맵과 같은 네비게이션은, 핸드폰 안에 도로 정보를 저장해두는 것이 아니라 실시간으로 인터넷에 연결해서 정보를 다운받으면서 서비스하게 된다. 때문에 작은 핸드폰에서는 구동할 수 없는 엄청난 양의 빅데이터를 활용하고, 또 머신러닝을 통해 여러가지 교통정보 예측 서비스도 제공할 수 있는 것이다. (교통정보 예측을 위한 빅데이터를 활용한 머신러닝은 서버[1]에서 수행하고, 핸드폰에는 간단한 결과 정보만 전송한다.)</p><p>또한 유튜브, 넷플릭스 등 스트리밍 서비스의 경우도, 실제 우리 핸드폰에 동영상을 저장해둔 것이 아니고 인터넷에 연결하여 영상을 조회하는 형태이므로 같은 개념으로 볼 수 있다.</p><h4>인터넷 서비스 업체들이 사용하는 클라우드</h4><p>그런데, 일반 유저들이 사용하는 구글맵, 유튜브 같은 인터넷 서비스를 제공하는 업체들도 그 서비스 제공을 위해 뒤에서 또 다른 클라우드 서비스를 사용하고 있다. 이 클라우드가 오늘 이야기하고자 하는 클라우드이다.</p><p>이전에 인터넷 서비스를 위해서는 자체 서버 구축이 필수였다.<br>그러나 최근의 많은 인터넷 서비스 업체들은, 자체 서버 구축 대신 클라우드 서비스 업체[2]의 클라우드를 활용한다.</p><p>개인들이 개인 컴퓨터에 파일을 저장하지 않고 구글 포토, 구글 드라이브에 파일을 저장해두고 월 구독 비용을 내고 쓰듯이, 애플리케이션을 서비스하는 업체들도 자신들의 서버를 운용하지 않고 클라우드에 사용 비용을 지불하고 고객들에게 애플리케이션 서비스를 제공하는 것이다. <br>그러한 업체 중 넷플릭스가 잘 알려져 있는데, 넷플릭스의 서비스를 위한 파일은 클라우드에 저장되어 있으며, 모든 서버 역시 클라우드의 서버를 통해 서비스되는 것으로 알려져 있다. 즉 유저가 넷플릭스에 접속하여 영상을 시청하면, 넷플릭스의 서버가 아닌, 넷플릭스가 AWS에 구독한 AWS의 데이터센터 서버에 접근하여, AWS에 저장된 파일을 통해 영상을 보게 되는 것이다. (이러한 형태를 클라우드 네이티브라고 한다.)<br>물론 넷플릭스를 사용하는 유저 입장에서는 나에게 영상을 제공하는 서버가 클라우드인지 넷플릭스의 서버인지 알 수도 없고 알 필요도 없다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*D1XwzVCrrJw2vpd7.jpg" /><figcaption>좌측 유저의 모바일 디바이스가 여러 클라우드 서비스를 통해 서비스될 수 있다.(source: <a href="https://cloud.google.com/blog/products/application-development/13-popular-application-architectures-for-google-cloud">https://cloud.google.com/blog/products/application-development/13-popular-application-architectures-for-google-cloud</a>)</figcaption></figure><p>만약 클라우드가 없다면, 보통 애플리케이션 서비스 업체들이 서비스를 위해 먼저 해야할 일은</p><p><strong>(1) 비싸고 큰 서버를 구매</strong>하고,</p><p><strong>(2) 서버를 안전하게 관리할 장소(데이터센터[3])를 구축</strong>하고,</p><p><strong>(3) 이를 관리할 수 있는 높은 수준(=비싼 몸값의)의 인프라/네트워크 엔지니어</strong>들을 필요로 할 것이다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*qNImfbX0NsCCpvKK" /><figcaption>구글의 데이터센터</figcaption></figure><h4><strong>그런데 클라우드를 쓴다면?</strong></h4><p><strong>1.</strong><br>AWS, 구글 클라우드 같은 클라우드 서비스 업체에서 위 (1),(2),(3)을 모두 알아서 해주고, 애플리케이션 업체는 그냥 일반 유저들이 구글 드라이브 쓰듯이 ‘클릭’ 몇번만 하면 바로 서버, 데이터베이스, 머신러닝 예측 서비스 등을 사용할 수 있게 되었다. <br>원래대로라면 위에서 이야기한 것처럼 하드웨어 엔지니어들이 서버를 구매하고, 장소를 임대하고, 서버를 물리적/소프트웨어적으로 구축, 운영해야하는 수많은 <strong>전문적인 작업을 전문가에게 위임하고, 내가 필요할 때 ‘클릭’ 몇번에 필요한 만큼만 쓸 수 있는 것</strong>이다.</p><p>한가지 구체적인 서비스의 예시를 들면, 머신러닝을 통한 예측 서비스를 들 수 있다. 이러한 서비스를 직접 구현하기 위해서는 머신러닝 엔지니어와 데이터 사이언티스트, 데이터 엔지니어 등의 인력과 GPU와 같은 고성능의 컴퓨팅 자원이 필요한데, 모든 IT 서비스 업체들이 이러한 전문가를 모두 채용하고 비싼 인프라를 운용하기는 현실적으로 힘들다. 이때 클라우드의 AI 예측 서비스를 활용하면, 머신러닝에 대해 잘 모르는 엔지니어라도 구글 또는 아마존의 머신러닝 전문가들이 만들어놓은 시스템을 통해 유저에게 머신러닝 예측 서비스를 손쉽게 제공할 수 있는 것이다.</p><p>예를 들어 유저가 네비 앱의 예측 서비스를 사용하는 경우, 앱의 뒷단에서는<br><strong>유저 -&gt; (네비 앱 -&gt; 클라우드 예측 서비스 -&gt; 네비 앱) -&gt; 유저<br></strong>와 같은 형태로 서비스가 될 수 있는 것이다.</p><p><strong>하드웨어, 네트워크 인프라에 대한 고민을 털어내고</strong>, 또 내가 <strong>전문적이지 않은 부분은 클라우드 서비스에 위임</strong>하면서, 엔지니어들은 <strong>핵심적인 소프트웨어 개발에만 집중</strong>할 수 있는 것이다. 효율성을 크게 올릴 수 있는 부분이다.</p><p><strong>2. <br></strong>위와 같은 이점 덕분에, ‘lean한 방식’의 시작, <strong>작게 서비스를 시작하는 것이 가능</strong>하다.<br>넷플릭스와 같은 대형 서비스 뿐만 아니라, <strong>스타트업</strong>과 같은 작은 규모의 IT 서비스 기업에 클라우드가 특히 효율적일 수 있다.</p><p>스타트업이 서비스를 시작할 때는, 준비가 모두 완료된 상태에서 서비스 개시! 하고 전면적으로 크게 서비스를 시작하기 보다는, 보통 아주 작은 규모로 테스트를 하면서 시작하게 된다. <br>클라우드가 없다면 아무리 작은 서비스도 몇 백, 몇 천 이상의 서버부터 구매해야 하고, 소프트웨어에만 집중하기에도 부족한 인적 리소스로 하드웨어, 인프라 개발, 운영까지 해야만 할 것이다. 금전적, 인적 리소스 면에서 높은 장벽이 될 수 있다.<br>클라우드를 통해 이러한 시도가 쉽게 가능하다. 서버 한대의 리소스가 100%라면 이 중 딱 필요한 만큼, 10%만큼의 서버 리소스만 사용하면서 작게는 몇 만원 정도의 비용으로도 테스트가 가능한 것이다.</p><p>따라서 최근의 스타트업 전성시대에는 그 기저에 클라우드의 존재가 큰 역할을 했다고 볼 수 있다.</p><p><strong>3.</strong> <br>위 2와 연결되는, 한가지 클라우드 활용의 중요한 이점이 있는데, <strong>리소스 활용의 유연성</strong>이다.</p><p>블랙프라이데이를 예를 들어보자. 미국의 연말 할인행사인데, 이 시기 며칠 동안의 매출이 연간 매출의 30% 이상을 차지한다고 한다. 이 경우 서버에 들어오는 트래픽은 평소의 5~10배 이상이다. <br>(트래픽이란 보통 QPS(Query per second)로 쉽게 말하면 사이트에 접속한 사람 수를 생각하면 된다. 이 수가 동시간대 1,000명이었다면, 블랙프라이데이 에는 1만명이 될 수 있는 것이다.)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/736/0*Mvj4Hg04_fBUl3k6" /><figcaption>블랙 프라이데이에 폭증하는 트래픽(QPS) 예시</figcaption></figure><p>간혹 ‘인터넷 사이트가 사람이 몰려서 다운되었다’라는 뉴스를 볼 수 있는데, 이렇게 트래픽이 몰릴 때 충분한 리소스가 준비되어 있지 않으면 서버가 너무 많은 트래픽을 처리하지 못해 뻗어버리는 현상이 생길 수 있다. (리소스란 트래픽을 처리할 충분한 컴퓨터, 즉 서버이다. )<br>‘서버가 뻗는다’는 것은 동시에 너무 많은 처리요청을 컴퓨터에 보냈을 때 컴퓨터 CPU, 메모리의 부족으로 컴퓨터가 아예 멈춰버리는 현상을 말한다. 인기있는 게임에 접속하려고 하면 30분씩 대기 해야하는 경우나, 연말정산 시스템에 들어갈 때 한참 대기해야하는 경우가 있는데, 트래픽이 몰려서 서버가 뻗는 것을 방지하기 위해 동시접속 트래픽을 제한하는 것이다.</p><p>평상 시 100대의 서버로 운영되는 쇼핑 사이트라고 해보자. 그런데 블랙프라이데이 며칠간 폭증하는 유저 트래픽을 처리를 위해서는 1000대 정도의 서버가 필요할 것으로 예상된다. <br>쇼핑 사이트에서는 위의 연말정산 예시처럼 트래픽 제한을 위해 몇십분씩 유저를 기다리게 할 수도 없다. 그럼 바로 다른 사이트로 가버릴 테니까.<br>그렇다고 1년 중 30% 매출을 차지하는 블랙프라이데이를 100대의 서버로 맞이했다간 틀림없이 서버가 다운되어 유저들이 사이트에 접속할 수 없어 매출을 말아먹을 것이다. (IT팀은 직장을 잃을 위험을 맞을 것이다) 또 그렇다고 그 며칠만을 위해 1000대의 서버를 구축하자니 나머지 360일 동안 수십억짜리 900대의 서버가 유휴장비로 놀게 된다.</p><p><strong>어떻게 해야할까?<br></strong>바로 이 문제를 클라우드가 깔끔하게 풀어줄 수 있다. 앞서 클릭만 하면 서버 등의 서비스를 사용할 수 있다고 했는데,<strong> 트래픽이 몰리는 이벤트가 발생되기 전에 서버 리소스를 간단히 몇 배</strong>로 늘렸다가, <strong>이벤트가 끝날 때 리소스를 모두 반납</strong>할 수 있는 것이다. 서버 <strong>사용 비용은 당연히 사용한 기간 동안만 지불</strong>하면 된다. 훨씬 효율적이다.</p><h4>클라우드의 성장</h4><p>클라우드는 지금 전세계에서 가장 빠르게 성장하는 산업 중 하나이다. 이미 수십조 이상의 산업 규모에서 이렇게 빠르게 성장하는 산업은 드물다.</p><p>2021년 가트너에 따르면, 최신 아키텍처에서는 클라우드 네이티브가 대세가 되고 있다. 앞으로도 그 규모가 더 커질 것으로 예상되는 이유다.</p><blockquote>지난해 퍼블릭 클라우드 서비스 시장이 2020년 643억달러 규모에서 41.4% 성장한 909억달러 달러 규모에 달했다는 조사 결과가 나왔다.<br>…<br>아마존웹서비스(AWS)는 시장 점유율과 매출 성장세에서 1위 사업자로서의 위상을 지켰고 마이크로소프트 애저와 구글 클라우드는 성장률에서 AWS를 앞섰다.</blockquote><blockquote>가트너의 시드 낵 부사장 겸 애널리스트는 “클라우드 네이티브가 최신 워크로드들에서 주요 아키텍처가 되면서 서비스형 인프라(IaaS) 시장은 계속해서 성장하고 있다”면서 “이같은 성장은 클라우드가 첨단 기술과 애플리케이션들이 요구하는 확장성과 결합성을 지원하고 데이터 통합, 고객 경험 강화, 주권(sovereignty) 같은 새로운 필요를 기업들이 맞출 수 있도록 한다는 것에 부분적으로 기인한다”고 말했다</blockquote><blockquote>출처 : <a href="https://www.digitaltoday.co.kr/news/articleView.html?idxno=448301">디지털투데이 (DigitalToday)(http://www.digitaltoday.co.kr)</a></blockquote><p><strong>[1] </strong><a href="https://namu.wiki/w/%EC%84%9C%EB%B2%84"><strong>서버</strong></a><strong><br></strong>서버(server)는 유저에게 네트워크를 통해 서비스하는 컴퓨터. 이름 그대로 번역해서 ‘제공자’라고 하면 와닿을 것이다. 예를 들어 인터넷을 통해 구글에 연결하는 것은, 구글의 서버, 즉 컴퓨터에 연결된 것이다. 일반적으로 서버는 개인용 컴퓨터보다 훨씬 성능이 좋고, 훨씬 비싸다.</p><p><strong>[2] 클라우드 프로바이더<br></strong>구글 클라우드, AWS, Micorosoft Azure, 네이버 클라우드 등이 대표적인 클라우드 서비스 업체다.</p><p><strong>[3] 데이터센터<br></strong>그냥 아무 건물에나 컴퓨터를 쌓아두면 되는 것이 아니다. 건물에 서버를 안전하게 보관하고 운용하기 위해서는 서버에서 나오는 엄청난 열을 냉각시키기 위한 냉각 시스템 (서버들은 생각보다 예민해서 온도가 조금만 높아도 뻗어버리고 오작동하는 경우가 많다), 습도 유지 시스템 (역시 예민하신 서버님들이 습도가 높으면 오작동할 수 있다), 유지보수 시스템 (수만개의 하드웨어를 운용하다보면 하루에도 수십, 수백개의 장비가 고장나고 오작동한다), 충분한 전력 공급 및 안정적인 전압 관리, 안정적이고 빠르고 큰 네트워크, 높은 수준의 보안, 지진, 화재 등의 재난 대응 시스템 (2022년 SK 데이터센터의 아주 작은 화재 하나로 카카오가 전면 장애를 맞았던 걸 생각해보라) 등 높은 수준의 전문적인 기술이 필요하다.<br>아래 짧은 <a href="https://youtu.be/XZmGGAbHqa0">구글 데이터센터 영상</a>을 보면 데이터센터에 얼마나 높은 수준의 기술 인프라가 필요할지 살짝이나마 감을 잡아볼 수 있다.</p><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fwww.youtube.com%2Fembed%2FXZmGGAbHqa0%3Ffeature%3Doembed&amp;display_name=YouTube&amp;url=https%3A%2F%2Fwww.youtube.com%2Fwatch%3Fv%3DXZmGGAbHqa0&amp;image=https%3A%2F%2Fi.ytimg.com%2Fvi%2FXZmGGAbHqa0%2Fhqdefault.jpg&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=youtube" width="854" height="480" frameborder="0" scrolling="no"><a href="https://medium.com/media/9379ee520271c710087a6701ce45f764/href">https://medium.com/media/9379ee520271c710087a6701ce45f764/href</a></iframe><h4><strong>더 살펴볼만한 자료</strong></h4><p><strong>구글 클라우드 — 클라우드 컴퓨팅이란?</strong></p><p>“클라우드 컴퓨팅은 컴퓨팅 리소스를 인터넷을 통해 서비스로 사용할 수 있는 주문형 서비스입니다. 기업에서 직접 리소스를 조달하거나 구성, 관리할 필요가 없으며 사용한 만큼만 비용을 지불하면 됩니다.”</p><p><a href="https://cloud.google.com/learn/what-is-cloud-computing?hl=ko#section-1">클라우드 컴퓨팅이란 무엇인가요? | Google Cloud</a></p><p><strong>티타임즈</strong><br>마지막으로, IT, 기술 관련 정보를 기초, 입문 위주로 정리해주는 유튜브 채널 티타임스 링크를 첨부한다. 이 채널은 기자분들이 기술 오타쿠처럼 niche 영역만 파고들고 교수님들 모셔와서 진지한 얘기만 하는데 채널이 흥할 수 있을까.. 걱정(그렇지만 어느새 은근히 20만)이 될만큼 여러가지 기술적인 내용의 입문 레벨 정보를 전달해주는 고마운 채널이다.</p><ul><li><a href="https://www.youtube.com/playlist?list=PL7d4-rFjtYdKNbtLgkvt44RcmyypElhZf">클라우드 관련 플레이리스트 ‘클라우드를 모르면 미래를 모르는 것’.</a></li><li><a href="https://www.youtube.com/watch?v=MiNU0S1Iang">[최재홍 교수#1] 문과도 쏙쏙 들어오는 ‘클라우드’의 모든 것</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=dd5333d1ce2a" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[[GCP] Java Beam SDK & Maven으로 Dataflow 수행하기]]></title>
            <link>https://jaemunbro.medium.com/gcp-java-maven%EC%9C%BC%EB%A1%9C-dataflow-%EC%88%98%ED%96%89%ED%95%98%EA%B8%B0-91cf07b9bf98?source=rss-387ff067938c------2</link>
            <guid isPermaLink="false">https://medium.com/p/91cf07b9bf98</guid>
            <category><![CDATA[template]]></category>
            <category><![CDATA[java]]></category>
            <category><![CDATA[beam]]></category>
            <category><![CDATA[dataflow]]></category>
            <dc:creator><![CDATA[Jaemun Jung]]></dc:creator>
            <pubDate>Thu, 03 Feb 2022 16:50:19 GMT</pubDate>
            <atom:updated>2022-07-11T16:01:02.486Z</atom:updated>
            <content:encoded><![CDATA[<p>Apache Beam SDK는 data processing pipeline을 구성하기 위한 오픈소스 프로그래밍 모델이다. Dataflow는 이 파이프라인을 구성하기 위한 여러 런타임 중 하나다. Beam과 Dataflow의 기본에 대해서는 이전에 <a href="https://jaemunbro.medium.com/gcp-dataflow-apache-beam-%EC%95%8C%EC%95%84%EB%B3%B4%EA%B8%B0-a4f5f09b98d1"><strong>[GCP] Apache Beam 알아보기</strong></a><a href="https://jaemunbro.medium.com/gcp-dataflow-apache-beam-%EC%95%8C%EC%95%84%EB%B3%B4%EA%B8%B0-a4f5f09b98d1"> </a>에서 살펴본 적이 있다.</p><p>Dataflow Pipeline을 수행할 수 있는 방법은 여러가지가 있다.</p><ol><li><strong>Template</strong>을 활용해 Web Console에서 바로 수행하거나,</li><li><strong>REST API</strong> 또는</li><li><strong>CLI</strong>를 통한 수행 방법,</li><li>그리고 프로그래밍적인 방법으로 <strong>Python, Java SDK</strong>를 사용하는 방법이 있다.</li></ol><p>Template이란 구글에서 미리 Template화 해놓은<strong> Beam 데이터 처리 코드</strong>라고 보면 된다.<br>가장 간편한 방법은 Google에서 제공하는 이 Template을 사용하는 것인데, 간편하게 GCP Web Console에서 키워드 몇개+간단한 코드 스니펫만 입력하고 바로 수행할 수도 있다. 따라서 복잡한 Data Manipulation 작업이 없는 단순 ETL, Data Processing 작업이라면 Template활용이 효율적일 수 있다. 다만 운영 작업을 매번 Web Console에서 생성할 수는 없으므로 <strong>REST API 또는 CLI</strong>를 사용해서 간단히 Pipeline Job을 생성할 수 있도록 제공한다. <br>자세한 내용은 아래 링크를 참조하자.</p><p><a href="https://cloud.google.com/dataflow/docs/guides/templates/provided-templates">Get started with Google-provided templates | Cloud Dataflow | Google Cloud</a></p><p>아래는 <strong>Batch Template</strong>의 일부인데, 다양한 데이터 소스로부터 데이터 타겟을 설정하여 프로세싱할 수 있다.</p><p><strong>Batch Templates</strong></p><p><em>BigQuery to Cloud Storage TFRecords<br>BigQuery export to Parquet (via Storage API)<br>BigQuery to Elasticsearch<br>Bigtable to Cloud Storage Avro<br>Bigtable to Cloud Storage Parquet<br>Bigtable to Cloud Storage SequenceFiles<br>Cloud Storage Avro to Bigtable<br>Cloud Storage Parquet to Bigtable<br>Cloud Storage Text to BigQuery<br>Cloud Storage Text to Pub/Sub (Batch)<br>Cloud Storage Text to Cloud Spanner<br>Cloud Storage to Elasticsearch<br>Java Database Connectivity (JDBC) to BigQuery</em></p><p>그 외에 Data의 가공이 필요한 경우는 Python 또는 Java SDK를 통해 코딩을 하고 원하는 대로 데이터를 가공하도록 JOB을 만들고, 수행할 수 있다.</p><p>웹콘솔 등에서 Template Job을 수행하는 방법은 상당히 간단해서 위 링크에도 상세히 나와있으므로, 이 글에서는 Java Beam SDK를 통해 Pipeline Job을 수행해보려고 한다.</p><h3>Java Beam SDK를 통해 Pipeline Job 수행하기</h3><p>기본적으로 Service Account등의 머신계정 및 GCS Bucket 이 필요하다. 이 부분에 대한 설정이 필요한 경우, 아래 공식 문서의 <a href="https://cloud.google.com/dataflow/docs/quickstarts/quickstart-java-maven#before-you-begin">before-you-begin</a> 섹션을 참고하자.</p><p><a href="https://cloud.google.com/dataflow/docs/quickstarts/quickstart-java-maven#before-you-begin">Quickstart using Java and Apache Maven | Cloud Dataflow | Google Cloud</a></p><p>JDK와 Maven 설치가 되어있지 않다면 이를 먼저 설치해야한다.</p><h3>JDK 설치</h3><p><a href="https://www.oracle.com/java/technologies/downloads/#java11">Download the Latest Java LTS Free</a></p><p><strong>JDK 11 다운로드</strong></p><pre>$ sudo apt-get install openjdk-11-jdk</pre><pre>$ java -version<br>openjdk version &quot;11.0.14&quot; 2022-01-18<br>OpenJDK Runtime Environment (build 11.0.14+9-post-Debian-1deb10u1)<br>OpenJDK 64-Bit Server VM (build 11.0.14+9-post-Debian-1deb10u1, mixed mode, sharing)</pre><p><strong>PATH 환경변수 설정</strong></p><pre>$ vi .bashrc<br>...<br>export JAVA_HOME=$(dirname $(dirname $(readlink -f $(which java))))<br>export PATH=$PATH:$JAVA_HOME/bin<br>...</pre><pre>$ source .bashrc<br>$ echo $JAVA_HOME<br>/usr/lib/jvm/java-11-openjdk-amd64</pre><h3>Install Maven</h3><p><a href="https://maven.apache.org/download.cgi">Apache Maven</a></p><p>위 사이트 Files-Link menu에서 install file의 주소를 확인한다.</p><p><a href="https://maven.apache.org/install.html">Installation</a></p><pre>$ wget <a href="https://dlcdn.apache.org/maven/maven-3/3.8.4/binaries/apache-maven-3.8.4-bin.tar.gz">https://dlcdn.apache.org/maven/maven-3/3.8.4/binaries/apache-maven-3.8.4-bin.tar.gz</a></pre><pre>$ tar -xvf apache-maven-3.8.4-bin.tar.gz</pre><pre># create a symbolic link<br>$ ln -s apache-maven-3.8.4 maven</pre><pre># set a PATH<br>$ vi .basrc<br>...<br>export PATH=$PATH:/opt/apache-maven-3.8.4/bin<br>...</pre><pre>$ source .bashrc</pre><h3>Create Maven Project</h3><p>공식 홈페이지서 제공하는 예제인 wordcount를 수행하기 위한 Maven project는 아래와 같이 <a href="https://maven.apache.org/archetype/maven-archetype-plugin/">Maven Archetype Plugin</a>을 사용해서 생성할 수 있다.</p><pre>mvn archetype:generate \<br>    -DarchetypeGroupId=org.apache.beam \<br>    -DarchetypeArtifactId=beam-sdks-java-maven-archetypes-examples \<br>    -DarchetypeVersion=2.35.0 \<br>    -DgroupId=org.example \<br>    -DartifactId=word-count-beam \<br>    -Dversion=&quot;0.1&quot; \<br>    -Dpackage=org.apache.beam.examples \<br>    -DinteractiveMode=false</pre><p>위 명령어는 word-count-beam이라는 디렉토리를 생성하며 pom.xml파일과 몇개의 샘플 pipeline을 생성한다.</p><h3>Run</h3><p>wordcount Job을 local 환경에서 먼저 수행해보자.<br>아래와 같은 명령어로 수행해볼 수 있다.</p><pre>$ mvn compile exec:java \<br>    -Dexec.mainClass=org.apache.beam.examples.WordCount \<br>    -Dexec.args=&quot;--output=counts&quot;</pre><p>이제 Dataflow service 환경에서 수행해보자.</p><pre>$ mvn -Pdataflow-runner compile exec:java \<br>      -Dexec.mainClass=org.apache.beam.examples.WordCount \<br>      -Dexec.args=&quot;--project=PROJECT_ID \<br>      --gcpTempLocation=gs://BUCKET_NAME/temp/ \<br>      --output=gs://BUCKET_NAME/output \<br>      --runner=DataflowRunner \<br>      --region=REGION&quot;</pre><h3>Dataflow Template</h3><p>다른 형태의 Pipeline들도 한번 수행해보자. <br>예를 들어 위에서 언급했던 Dataflow Template들을 가지고 테스트해보자.<br>Batch, Streaming 처리 타입별로 각각 수십여개의 Template이 있다.<br>Template의 소스코드는 아래 <strong>git</strong>에서 확인 가능하다.</p><p><a href="https://github.com/GoogleCloudPlatform/DataflowTemplates/tree/7066b9d79e6964036b997a1df5c1b436f9a61ad8">GitHub - GoogleCloudPlatform/DataflowTemplates at 7066b9d79e6964036b997a1df5c1b436f9a61ad8</a></p><p>해당 소스를 clone한다.</p><pre>$ git clone <a href="https://github.com/GoogleCloudPlatform/DataflowTemplates.git">https://github.com/GoogleCloudPlatform/DataflowTemplates.git</a></pre><p>이 글에서는 위의 Template 중, <strong>Running the Cloud Storage Text to BigQuery (Stream) </strong>Template으로 테스트해보고자 한다. 이름에서 보다시피 GCS(Google Cloud Storage)의 CSV 파일 등 Text파일을 읽어서 BigQuery 로드를 Streaming 형태로 처리하는 파이프라인이다. <br>해당 파일의 Schema를 정의한 JSON 및 Javascript처리 로직 등 일부 파일을 미리 GCS에 올려두어야 한다.</p><p><strong>Schema Definition JSON File</strong></p><pre>{<br>  &quot;BigQuery Schema&quot;: [<br>    {<br>      &quot;name&quot;: &quot;location&quot;,<br>      &quot;type&quot;: &quot;STRING&quot;<br>    },<br>    {<br>      &quot;name&quot;: &quot;name&quot;,<br>      &quot;type&quot;: &quot;STRING&quot;<br>    },<br>    {<br>      &quot;name&quot;: &quot;age&quot;,<br>      &quot;type&quot;: &quot;STRING&quot;<br>    },<br>    {<br>      &quot;name&quot;: &quot;color&quot;,<br>      &quot;type&quot;: &quot;STRING&quot;,<br>      &quot;mode&quot;: &quot;REQUIRED&quot;<br>    },<br>    {<br>      &quot;name&quot;: &quot;coffee&quot;,<br>      &quot;type&quot;: &quot;STRING&quot;,<br>      &quot;mode&quot;: &quot;REQUIRED&quot;<br>    }<br>  ]<br>}</pre><p><strong>JavaScript (.js) with UDF function</strong></p><p>텍스트를 transform(이 경우 CSV를 split하는)해서 JSON string을 리턴하는 function을 작성한다.</p><pre>function transform(line) {<br>var values = line.split(‘,’);</pre><pre>var obj = new Object();<br>obj.location = values[0];<br>obj.name = values[1];<br>obj.age = values[2];<br>obj.color = values[3];<br>obj.coffee = values[4];<br>var jsonString = JSON.stringify(obj);</pre><pre>return jsonString</pre><p>각 Template별로 필수 argument가 다르며, argument에 입력로 받을 json, javascript UDF 등이모두 다르므로<strong> </strong><a href="https://cloud.google.com/dataflow/docs/guides/templates/provided-templates"><strong>Google-provided templates</strong></a><strong> </strong>페이지에서 사용 전에 확인하자.</p><h4>RUN</h4><p>이제 Dataflow service 환경에서 Job을 생성해보자.<br>github의 해당 <a href="https://github.com/GoogleCloudPlatform/DataflowTemplates/blob/HEAD/src/main/java/com/google/cloud/teleport/templates/TextToBigQueryStreaming.java">Template의 소스</a>를 참고하면, 각 Template별 Sample mvn compile script가 있다.</p><pre>$ mvn compile exec:java \<br> -Dexec.mainClass=com.google.cloud.teleport.templates.TextToBigQueryStreaming \<br> -Dexec.args=&quot;\<br> --project=${PROJECT_ID} \<br> --stagingLocation=gs://${STAGING_BUCKET}/staging \<br> --tempLocation=gs://${STAGING_BUCKET}/tmp \<br> --runner=DataflowRunner \<br> --inputFilePattern=gs://path/to/input* \<br> --JSONPath=gs://path/to/json/schema.json \<br> --outputTable={$PROJECT_ID}:${OUTPUT_DATASET}.${OUTPUT_TABLE} \<br> --javascriptTextTransformGcsPath=gs://path/to/transform/udf.js \<br> --javascriptTextTransformFunctionName=${TRANSFORM_NAME} \<br> --bigQueryLoadingTemporaryDirectory=gs://${STAGING_BUCKET}/tmp \<br> --outputDeadletterTable=${PROJECT_ID}:${ERROR_DATASET}.${ERROR_TABLE}&quot;</pre><p>위 Example Usage script 에서는 없었는데, region이 없어서 오류가 난다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*3N0bR8GDYGahrzfVmV2VHA.png" /><figcaption>Exception</figcaption></figure><p>` — region=us-central1` 를 argument에 추가해주고, 다시 compile하여 <strong>BUILD SUCCESS</strong>된 것을 볼 수 있다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*M_SSg9oDtXxPlIMNjqchlA.png" /></figure><p>수행 결과<strong> Job Name과 ID는 자동생성</strong>되며, GCP Web Console에서도 Job이 생성된 것을 확인 가능하다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*b7e-3W-QixEIAfH2JyK8yg.png" /><figcaption>“Starting..” Job이 생성되었다.</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ftmy_JhYc-E8InX2uDuk9Q.png" /><figcaption>생성된 파이프라인의 Job Graph</figcaption></figure><p>이로써 간편하게 GCS 파일을 BigQuery로 로드할 수 있는 Streaming 파이프라인이 완성되었다.</p><h3>References</h3><ul><li><a href="https://cloud.google.com/dataflow/docs/guides/deploying-a-pipeline#using-streaming-engine">Deploying a pipeline | Cloud Dataflow | Google Cloud</a></li><li><a href="https://cloud.google.com/dataflow/docs/guides/templates/provided-streaming#text-files-on-cloud-storage-to-bigquery-stream">Google-provided streaming templates | Cloud Dataflow | Google Cloud</a></li><li><a href="https://github.com/GoogleCloudPlatform/DataflowTemplates/tree/7066b9d79e6964036b997a1df5c1b436f9a61ad8">GitHub - GoogleCloudPlatform/DataflowTemplates at 7066b9d79e6964036b997a1df5c1b436f9a61ad8</a></li></ul><h4>Disclaimer</h4><p>위 글은 개인적으로 작성한 것입니다. Google의 공식 문서 및 의견과 다를 수 있습니다.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=91cf07b9bf98" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[[GCP] 빅쿼리(BigQuery): 스토리지-컴퓨팅 분리아키텍처]]></title>
            <link>https://jaemunbro.medium.com/gcp-bigquery-%EC%8A%A4%ED%86%A0%EB%A6%AC%EC%A7%80%EC%99%80-%EC%97%B0%EC%82%B0%EC%9E%90%EC%9B%90%EC%9D%98-%EB%B6%84%EB%A6%AC-%EA%B5%AC%EC%A1%B0-a5066d3446df?source=rss-387ff067938c------2</link>
            <guid isPermaLink="false">https://medium.com/p/a5066d3446df</guid>
            <category><![CDATA[빅쿼리]]></category>
            <category><![CDATA[gcp]]></category>
            <category><![CDATA[구글클라우드]]></category>
            <category><![CDATA[bigquery]]></category>
            <category><![CDATA[빅데이터]]></category>
            <dc:creator><![CDATA[Jaemun Jung]]></dc:creator>
            <pubDate>Tue, 11 Jan 2022 16:49:01 GMT</pubDate>
            <atom:updated>2022-11-15T08:06:40.262Z</atom:updated>
            <content:encoded><![CDATA[<h3>[GCP] 빅쿼리(BigQuery): 스토리지-컴퓨팅의 분리아키텍처</h3><p>빅쿼리는 구글클라우드의 대표적인 빅데이터 프로덕트이다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/500/0*4PLs7yAmuU50ardU.png" /><figcaption>GCP?하면 빅쿼리!라고 할만큼 GCP 대표 프로덕트 중 하나임</figcaption></figure><p>빅데이터 분석과 데이터 웨어하우스를 위한 완전한 관리형 서비스(managed service)로, <strong>인프라 관리에 대한 부담 없이 SQL 쿼리만으로 Peta 단위의 빅데이터를 분석하고 데이터 웨어하우스를 관리</strong>할 수 있다. <br>보통 페타 스케일의 데이터를 처리하기 위해서는 물리적인 분산 서버 구축과 아키텍처 구성 뿐만 아니라 Spark, Beam 등의 분산처리프로그램의 코딩, 연산 자원의 병렬 처리 설정, 연산 자원의 공유/경합 관리, 물리 파일 최적화 등 아키텍처와 엔지니어링적인 면에서 전문적인 리소스가 필요한데, 빅쿼리는 SQL만 할 줄 알면 막말로 그냥 데이터를 가져다 들이붓고 쿼리만 날리면 되는 것이다. (물론 DW 설계와 관리 등은 여전히 필요하다.이렇게 최상위에 추상화된 논리 구조만 신경쓰면 된다는 이야기다.)</p><p>Fully managed serverless 운영모델, 빠른 확장성과 multi-tenant compute, pay-per-job 과금 등 좋은 특징들이 많은데..<br>가장 중요한 특징 중 하나는<strong> 스토리지와 컴퓨팅(연산자원)의 분리</strong>이다. <br>구글에서는 빅쿼리를 구현하면서 먼저 사용한 스토리지와 컴퓨팅의 분리는 최근 빅데이터, 분산처리, AI 아키텍처의 트렌드이기도 하다.(TECH42 <a href="https://www.tech42.co.kr/ai-%EC%8A%A4%ED%86%A0%EB%A6%AC%EC%A7%80-%EC%95%84%ED%82%A4%ED%85%8D%EC%B2%98-%ED%8A%B8%EB%A0%8C%EB%93%9C%EB%8A%94/">AI 스토리지 아키텍처 트렌드</a>)<br>최근 스토리지 아키텍처들은<strong> 대부분 구성요소들이 물리적으로 분리되고 자원을 공유하는 아키텍처로 발전</strong>하고 있다. 지난 30년간 스토리지 분야를 주도한 아키텍처는 <strong>스토리지-컴퓨팅이 함께 있는 아키텍처</strong>가 대세였다. 이 기존 방식이 갖는 장점은 <strong>빠른 성능과 고가용성 보장</strong>이며, 단점은 <strong>높은 비용을 수반하는 확장 방식</strong>이라는 점이다.</p><p>기존의 스토리지-컴퓨팅 아키텍처가 더이상 효과적이지 않은 이유는:</p><ol><li><strong>반드시 CPU와 저장 매체를 단일 장비에 모두 담아야</strong> 한다. 초기 스토리지 시스템은 <strong>TCP 기반의 네트워크가 DAS 방식의 스토리지보다 느리다는 가정 </strong>하에 CPU와 저장 매체가 짝을 이루어 함께 위치하도록 설계했으나, 현재는<strong> 빠른 네트워크</strong>(NVMe-oF) 기술의 출현으로 스토리지 장비에서 CPU 자원을 분리할 수 있게 되었다.</li><li>시스템 확장에 비효율적이며 불필요한 추가 비용이 필요하다. 확장이 필요할 때, <strong>컴퓨팅 파워와 스토리지 용량을 함께 늘려야</strong> 한다.</li><li>기존 스토리지 시스템은 병렬 효율성을 높이는 데 있어 제약이 있다. 데이터를 전체 노드에 걸쳐 분산 저장(stride) 하므로, 스토리지 효율을 높이려면 동시에 읽기/쓰기가 가능한 병렬 스트라이프 수(Stripe Width)에 제약을 두어야 한다.</li><li>마이크로서비스 아키텍처에 적합하지 않다.</li></ol><p>기존의 보통 분산 클러스터는 한 서버에 스토리지와 컴퓨팅이 함께있고, 많은 경우 두 자원간 비대칭이 생긴다. 스토리지가 충분한데 컴퓨팅이 부족하거나, 컴퓨팅은 충분한데 스토리지가 부족하거나.. 그래서 스토리지가 부족해서 서버를 늘리자니 컴퓨팅이 남아돌아서 고민, 반대도 고민.. 스토리지가 부족해서 서버를 늘리자니 컴퓨팅이 딸려오니 너무 비싸져서 고민.. 예를 들자면 뭐 이런 상황이다.<br>빅쿼리는<strong> Jupiter network</strong>라는 구글 내부의 <strong>Peta bit 급 네트워크 연결을 통해 물리적으로 데이터센터 끝에서 끝에 있는 자원간에도 한 랙에 있는 자원처럼 빠르게 통신</strong>할 수 있고, 덕분에 스토리지와 컴퓨팅의 분리가 가능했다.</p><p>스토리지와 컴퓨팅의 분리는 빅쿼리 유저들에게도 큰 이점이 될 수 있다:</p><ul><li>(컴퓨팅 자원과 분리되어있으므로) 상대적으로 저렴하게 확장 가능한 스토리지</li><li>제한 없이, 끊김 없이 확장 가능한 스토리지</li><li>상태에 구애받지 않는 유연한 연산자원의 확장(stateless, resilient compute)</li><li>스케일에 구애받지 않는 데이터 공유(in-place, scale-invariant data sharing)</li><li>ACID를 지원하는 스토리지 오퍼레이션</li><li>논리적인 데이터베이스 스토리지 모델 (물리적인 관리 리소스 비용을 줄여준다.)</li></ul><p>스토리지와 컴퓨팅엔진의 분리 구조에 대한 <a href="https://cloud.google.com/blog/products/bigquery/separation-of-storage-and-compute-in-bigquery"><strong>Separation of storage and compute in BigQuery</strong></a><strong> </strong>글에서 더 상세한 내용을 알아볼 수 있다.<br>아래는 해당 글을 요약한 내용이다.</p><p>빅쿼리의 운영철학은 최대한 추상화하고 자동화하여 유저의 운영 부담을 최소화하고 심플하게 만들어주는 것이다.</p><p>아래 다이아그램은 유저에게 노출된 서비스를 시각화한 것이다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/800/0*bVv1CSnULc2SOePc.PNG" /><figcaption>인프라는 모두 구글이 케어하고 사용자는 최상위 권한(IAM), 논리적 테이블 설계만 하면 되는 구조(from <a href="https://cloud.google.com/blog/products/bigquery/separation-of-storage-and-compute-in-bigquery">https://cloud.google.com/blog/products/bigquery/separation-of-storage-and-compute-in-bigquery</a>)</figcaption></figure><h3><strong>BigQuery under the hood</strong></h3><p>빅쿼리의 기초가 되는 네가지에 대해서 먼저 살펴보자.(자세한 내용은 이 글을: <a href="https://cloud.google.com/blog/products/bigquery/bigquery-under-the-hood">BigQuery under the hood</a>)</p><ol><li><strong>Compute</strong> : <strong>Dremel</strong>. standrd SQL query를 수행하는 대형 multi-tenant 클러스터</li><li><strong>Storage</strong> : <strong>Colossus</strong>. Google의 글로벌 파일 시스템.</li><li><strong>Network</strong> : <strong>Jupiter</strong>. compute와 storage간 <strong>peta bit</strong>의 Jupiter network를 통해 통신.</li><li>Kubernetes의 전신인 <strong>Borg</strong>에 의해 orchestration(구글 내부 버전 Kubernetes).</li></ol><figure><img alt="" src="https://cdn-images-1.medium.com/max/500/0*TjvTHE4ZluUb5kbw.PNG" /><figcaption>Borg, Dremel, Jupiter, Colossus (from <a href="https://cloud.google.com/blog/products/bigquery/separation-of-storage-and-compute-in-bigquery">https://cloud.google.com/blog/products/bigquery/separation-of-storage-and-compute-in-bigquery</a>)</figcaption></figure><h3><strong>Colossus storage subservice</strong></h3><p><strong>“플랫폼” 개념은 구글 내 기술 인프라의 핵심 원칙</strong>이다.<br><strong>Colossus</strong>는 구글 내 스토리지의<strong> 통합 글로벌 플랫폼(unified global platform)</strong>으로,<strong> Bigquery </strong>뿐만 아니라 Spanner, BigTable, Cloud Storage와 심지어 Compute Engine Persistent Disk 까지 수많은 프로덕트에서 활용된다.<br>Colossus 활용을 통해 암호화, 보안, global scale, durability, 성능, hot-spotting, 데이터센터간 복제, 유지보수, 업그레이드 등 많은 부분에서 도움을 받을 수 있다.</p><p>Storage로 Colossus를 활용함을 통해 빅쿼리가 얻는 이점은:</p><ul><li>Colossus의 높은<strong> IO throughput에 따른 아주 빠른 table scan. <br>이 throughput이 쿼리 처리량에 따라 불변한다는 것이 중요</strong></li><li><strong>storage의 무제한적인 확장</strong></li><li>Low cost</li><li>storage 증가에 따른 <strong>rebalance 작업이나, restrictive sort key, distribution key등의 정의가 필요 없음</strong></li><li><strong>ACID를 준수</strong>하는 성능좋고 결정적(deterministic)인 물리 storage 메타데이터 오퍼레이션. race condition이나 테이블 락이 없음</li></ul><p>Colossus는 빅쿼리가 데이터를 저장하는 공간이고, 빅쿼리 관점에서는 성능과 내구성의 최대화를 위해 어떻게 데이터를 저장할지 결정해야 한다. 그럼 어떤 형태로 데이터를 저장하는지 Capacitor라는 file format을 이어서 살펴보자.</p><h3><strong>The Capacitor file format</strong></h3><p><strong>BigQuery 스토리지는 압축, columnar 파일 포맷, 논리적 메타데이터 연산, 캐싱, 버퍼링 등 일반적인 모든 데이터 관리</strong>를 책임진다.</p><p>Capacitor는 2016년에 빅쿼리의 컬럼 저장 방식으로 사용되었으며, <strong>ColumnIO</strong> 방식(Parquet과 ORC의 베이스이기도 함)으로부터 개발된 형식이다.</p><p>Capacitor는 데이터를<strong> 효율적으로 인코딩하고 압축</strong>하며, <strong>데이터 전처리와 통계를 적극적으로 활용해서 Colossus에 최적화해서 저장</strong>한다. 또한 Capacitor는 풍부한 <strong>metadata</strong>를 갖고 있는데, 이를 통해<strong> Dremel이 더 효율적인 IO를 하고 더 나은 병렬처리</strong>를 할 수 있다.<br>참고로 또다른 컬럼형 포맷인 Parquet을 GCS에 두고 데이터를 바로 읽을 수도 있으며 이 때도 준수한 성능을 낸다. 하지만 BigQuery Native 스토리지에 Capacitor로 저장한 데이터 쿼리 때 가장 좋은 성능을 보인다.</p><p>(Capacitor에 대해서 더 알아보려면: <a href="https://cloud.google.com/blog/products/bigquery/inside-capacitor-bigquerys-next-generation-columnar-storage-format">Inside Capacitor, BigQuery’s next-generation columnar storage format</a>)</p><h3><strong>BigQuery as the logical storage system</strong></h3><p>BigQuery의 storage는 논리적이다. 따라서 유저는 ‘논리적인’ 데이터베이스 요소들만 관리하면 된다: datasets, tables, rows, columns, cells, partitions, views, permissions.</p><p>이는 즉, 이전에 데이터엔지니어가 물리적인 스토리지와 parquet, orc와 같은 물리 파일을 직접 관리하며 replication, 파일 사이즈 최적화, 파편화 관리, 디스크 사이즈 관리 등을 위해 쓰던 리소스를 절약할 수 있다는 말이다.</p><p>빅쿼리가 알아서 스토리지 레벨에서 주기적으로 파일의 최적화를 제공해준다.</p><h3><strong>Automated DBA tasks</strong></h3><p>빅쿼리의 실행 엔진인 <strong>Dremel은 수백만의 core를 가진 multi-tenant 클러스터이</strong>다. dremel에서 쿼리를 수행하면, 논리적으로 수천만의 core까지도 사용할 수 있다.</p><p>Dremel, 즉 BigQuery를 수행하는 동안, <strong>특정 하드웨어가 아닌 resource limit을 임대</strong>하는 개념이다.</p><p>Dremel은 SQL 쿼리이지만 다른 분산 시스템과 같이 idle 자원을 쓸 수 있도록 허용하는데</p><ul><li>추가비용 없이 배치 데이터를 ingest하는데 쓰이거나,</li><li>(DBA가 DB를 optimize하듯) DB optimization에 쓰인다.</li></ul><p>Dremel 모델은 또한 특정 노드, rack 레벨의 장애로부터 자유롭게 해준다.</p><h3><strong>Dynamic query execution</strong></h3><p>전통적 빅데이터 기술들은 아래와 같은 문제 해결을 위해 엔지니어의 전문성이 필요할 수 있다.</p><ul><li>데이터 프로세싱(쿼리)의 특정 부분을 얼마나 크게, 공격적으로 병렬처리 할 것인지 결정하는 것</li><li>혹은 전체 쿼리를 병렬처리 할 것인지</li><li>이와 같은 설정이 성능에 어떤 영향을 미칠지, 다른 리소스에 어떤 영향을 미칠지</li><li>병렬처리 프로세스의 data skew에 대해 인지하고, cardinality나 데이터 사이즈를 고려하는 것</li><li>JOIN이나 윈도우 펑션과 같은 쿼리 구조</li><li>여러 쿼리가 한번에 수행될 때 리소스간 경합에 대한 배정</li></ul><p>빅쿼리의 철학은 위와 같은 <strong>유저 경험의 복잡도를 ‘최소화’하고 ‘최대한’ 심플하게</strong> 만드는 것이다.<br>따라서 빅쿼리는 <strong>아예 위와 같은 config 레버 자체를 제공하지 않는다.<br></strong>대신 Dremel의 동적 쿼리 실행을 데이터 크기, 모양, 쿼리 복잡도에 따라 쿼리의 각 단계를 자동화 하는 것을 목표로 한다.</p><h3><strong>Conclusion</strong></h3><p>최근 스토리지와 컴퓨팅 자원을 분리하는 아키텍처가 많이 고려되고, 사용되고 있다.<br>물론 장단이 있겠으나, 대부분의 사례에서 규모, 성능, 비용, 사용 용이성, 안정성, 데이터 공유 및 내구성 등 많은 점에서 매력을 갖는다.<br>그러나 단순히 별도의 스토리지 시스템을 갖는 것 외에, BigQuery는 일반적으로 데이터 엔지니어가 수행해야 하는 작업의 복잡성을 추상화하고 기존 데이터베이스 관리 작업을 자동으로 수행하고 쿼리를 동적으로 구성하여 성능을 최대화하는 방향으로 발전해왔고, 계속 발전해나가고 있는 것으로 보인다.</p><h3><strong>Reference</strong></h3><ul><li><a href="https://cloud.google.com/bigquery/docs/introduction">BigQuery overview | Google Cloud</a></li><li><a href="https://www.tech42.co.kr/ai-%EC%8A%A4%ED%86%A0%EB%A6%AC%EC%A7%80-%EC%95%84%ED%82%A4%ED%85%8D%EC%B2%98-%ED%8A%B8%EB%A0%8C%EB%93%9C%EB%8A%94/">AI 스토리지 아키텍처 트렌드는? - 테크42</a></li><li><a href="https://cloud.google.com/blog/products/bigquery/separation-of-storage-and-compute-in-bigquery">Separation of storage and compute in BigQuery | Google Cloud Blog</a></li><li><a href="https://cloud.google.com/blog/products/bigquery/bigquery-under-the-hood">BigQuery under the hood: Google&#39;s serverless cloud data warehouse | Google Cloud Blog</a></li></ul><h4>Disclaimer</h4><p>위 글은 개인적으로 작성한 것입니다. Google의 공식 문서 및 의견과 다를 수 있습니다.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=a5066d3446df" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[[MLOPS] TFX-Tensorflow Extended (1)]]></title>
            <link>https://jaemunbro.medium.com/mlops-tfx-1-%EA%B0%9C%EC%9A%94-2897b56feec7?source=rss-387ff067938c------2</link>
            <guid isPermaLink="false">https://medium.com/p/2897b56feec7</guid>
            <category><![CDATA[tfx]]></category>
            <category><![CDATA[mlops]]></category>
            <category><![CDATA[tensorflow-extended]]></category>
            <dc:creator><![CDATA[Jaemun Jung]]></dc:creator>
            <pubDate>Sat, 27 Nov 2021 20:06:13 GMT</pubDate>
            <atom:updated>2023-02-21T00:18:17.274Z</atom:updated>
            <content:encoded><![CDATA[<h3><strong>MLOPS가 필요한 이유</strong></h3><p>MLOPS가 왜 필요할까?<br>이전의 [<a href="https://jaemunbro.medium.com/mlops%EA%B0%80-%EB%AC%B4%EC%97%87%EC%9D%B8%EA%B3%A0-84f68e4690be">MLOps란</a>?] 글과, [<a href="https://jaemunbro.medium.com/mlops-model-centric-ai%EC%97%90%EC%84%9C-data-centric-ai%EB%A1%9C-5c8a1c389b8e">Andrew Ng: Model-centric AI에서 Data-centric AI로</a>] 글에서 살펴보았듯, 머신러닝의 핵심은 뛰어난 모델이기는 하지만, 프로덕션 ML시스템을 운영하기 위한 요소중에서는 모델 자체는 오히려 일부의 작은 부분만 차지한다고 이야기한다.</p><p>모델을 프로덕션에서 지속적으로 발전시키면서 운영하기 위해서 지속적으로 변화하는 데이터와 모델을 관리하기 위한 방법론이 MLOps이다.</p><p><strong>TFX</strong>는<strong> MLOps 파이프라인</strong>의 <strong>각 단계를 위한 프레임워크 및 라이브러리를 제공한다.</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*QzY7WogWv0xfP3NN.png" /><figcaption>ML 시스템의 요소(<a href="https://papers.nips.cc/paper/5656-hidden-technical-debt-in-machine-learning-systems.pdf">Hidden Technical Debt in Machine Learning Systems</a>)</figcaption></figure><h3><strong>TFX(Tenserflow Extended)</strong></h3><p><a href="https://www.tensorflow.org/tfx"><strong>TFX</strong></a><strong>는 구글에서 만든 Tensorflow 기반의 머신러닝 플랫폼</strong>이다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*18FcKqnynGmVXicX.png" /><figcaption>한국말로 하면 텐서플로우 확장판. ‘확장판&#39; 하니 왠지 게임 생각이 나는..</figcaption></figure><p><strong>머신러닝 시스템 전반, 즉 모델 정의, 전처리, 빌드, 모니터링을 통합할 수 있는 프레임워크</strong> 및 <strong>라이브러리</strong>를 제공한다<br> 기본적인 데이터 시각화, 전처리, 모델 분석, 서빙(serving) 뿐만 아니라, 시간이 흐름에 따라 유입되는 새로운 데이터에 대한 데이터 수명주기 관리, 또 프로덕션 환경에 소프트웨어 애플리케이션을 적용하기 위한 보안, 확장성, 테스트 가능성 등의 요구사항이 모두 적용된다.</p><p>ML 파이프라인의 각 주요 단계 별로 Library가 구현되어 있다. TensorFlow Data Validation, TensorFlow Transform, TensorFlow Model Analysis 등이 그것이다.</p><p>각 라이브러리의 목적에 대해 간단히 보면:</p><ul><li><a href="https://github.com/tensorflow/data-validation">TensorFlow Data Validation (<strong>TFDV</strong>)</a>: 데이터 이상치 감지</li><li><a href="https://www.tensorflow.org/tfx/transform/get_started">TensorFlow Transform (<strong>TFT</strong>)</a>: 데이터 전처리 및 특성 추출</li><li>TensorFlow Estimators and Keras: ML 모델 빌드 및 학습</li><li><a href="https://www.tensorflow.org/tfx/model_analysis/get_started">TensorFlow Model Analysis (<strong>TFMA</strong>)</a>: ML 모델 평가 및 분석</li><li><a href="https://www.tensorflow.org/tfx/guide/serving">TensorFlow Serving (<strong>TFServing</strong>)</a>: ML 모델을 REST 및 gRPC API로 제공</li></ul><p>밑의 예시에서 TFDV, TFT 등 약어를 사용하여 설명할 것이므로 약어를 눈여겨 봐두면 좋다.</p><h3>TFX ML system</h3><p>각 TFX 라이브러리가 ML 시스템에서 어떻게 활용될지 적용해보자.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*qhS32SBqtn5bSvlq_xJS_g.png" /><figcaption>TFX based ML system(from <a href="https://cloud.google.com/architecture/architecture-for-mlops-using-tfx-kubeflow-pipelines-and-cloud-build">https://cloud.google.com/architecture/architecture-for-mlops-using-tfx-kubeflow-pipelines-and-cloud-build</a>)</figcaption></figure><ol><li><strong>Data Extract<br></strong>데이터 소스로부터 학습 데이터를 추출</li><li><strong>Data Validation<br>TFDV</strong>가 예상(원시) 데이터 스키마를 기준으로 데이터를 검사하여 데이터 분포 및 스키마 편향과 관련된 이상치를 감지</li><li><strong>Data Transformation<br></strong>데이터 검사가 완료된 후 <strong>TFT</strong>를 사용해서 data transformatoin 및 featue engineering을 수행하여 ML 작업에 맞게 데이터를 분할하고 준비.<br>output은 일반적으로 TFRecords 형식으로 변환되는 모델 학습 및 평가를 위한 데이터 파일.</li><li><strong>Model Training and Tuning<br></strong>ML 모델을 구현 및 학습시키기 위해서<strong> tf.estimator</strong> 또는<strong> tf.Keras API</strong>를 활용. 파라미터 튜닝을 위해서 Keras Tuner 또는 Katib과 같은 서비스를 사용할 수 있음.<br>output은 (1) 평가에 사용될 모델과 (2) 온라인 서비스용 모델 두가지.</li><li><strong>Model evaluation and validation<br></strong>학습 후 모델을 내보낼 때 <strong>TFMA</strong>를 사용하여 모델 품질을 평가. <strong>TFMA</strong>는 전반적으로 모델 품질을 평가하고, 문제가 있는 데이터 모델 부분을 식별. 이러한 기준에는 여러 데이터 하위 집합(예: 인구통계 및 위치)에서의 올바른 성능과 이전 모델 또는 벤치마크 모델에 대비 향상된 성능이 포함<br>output은 (1) performance metric과 (2) 모델 프로덕션 적용 여부.</li><li><strong>Model serving for prediction<br></strong>TensorFlow Serving을 통해 online estimation을 제공하도록 microservice로 배포.<br>이 단계는 model registry에 모델을 저장하고, 별도의 CI/CD 프로세스를 통해 배포하는것으로 대체될 수 있다.<br>output은 ML model의 estimation service.</li></ol><h3><strong>TFX 주요 구성 요소</strong></h3><p><strong>TFX component의 아키텍처</strong>에 대해서 살펴보자.<br>TFX의 각 component는 내부적으로 <strong>Driver, Executor, Publisher</strong>로 구성되어 있다. 풀어 이야기하면, <strong>각각</strong> <strong>input을 받아, 데이터를 처리하고, output을 발행</strong>하는 역할을 한다.</p><h4><strong>Driver, Executor, Publisher</strong></h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/512/0*lv_774DXXaOt4kNC.png" /><figcaption>driver, executor, publisher (from <a href="https://blog.tensorflow.org/2019/06/tensorflow-extended-tfx-real-world_26.html">https://blog.tensorflow.org/2019/06/tensorflow-extended-tfx-real-world_26.html</a>)</figcaption></figure><ul><li><strong>Driver</strong>는 작업 실행을 오케스트레이션하고 executor에게 메타데이터를 피드해준다.</li><li><strong>Publisher</strong>는 executor의 결과를 받아 메타데이터 저장소를 업데이트한다.</li><li><strong>Executor</strong>는 실제로 각 component에 대한 작업이 수행되는 곳이다.</li></ul><p>Driver와 publisher는 boilerplate code로 아마 직접 수정할 일은 없을 것이고, 개발자가 실제로 <strong>코드를 삽입하고 사용자 설정을 하는 부분은 executor</strong>이다.</p><p>Component의 input과 output을 저장해야하는데, 이는 모두 <strong>Metadata Store</strong>에 저장된다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/512/0*HQBNm_D-NZO_LYWh.png" /><figcaption>Metadata Store</figcaption></figure><p>데이터가 파이프라인을 따라 이동하면서 각 component는 이전 component에서 생성된 메타데이터를 읽고 다시 다음 component에 넘길 metadata 작성한다. 위의 그림을 보면<strong> component간 정보를 바로 넘기지 않고 하단의 metadata를 통해 artifact를 교환</strong>하는 것을 볼 수 있다.<br>Metadata Store가 무엇인지, 그 이점이 무엇인지 아래에서 좀 더 살펴보자.</p><h3><strong>ML-Metadata(MLMD)</strong></h3><p>TFX는 <strong>ML 파이프라인을 위한 메타데이터를 정의, 저장, 쿼리하기 위한 오픈소스 라이브러리인 ML-Metadata(</strong><a href="https://www.tensorflow.org/tfx/guide/mlmd"><strong>MLMD</strong></a><strong>)</strong>를 통해 메타데이터 저장소를 구현한다. MLMD는 <strong>관계형 DB</strong>에 데이터를 저장한다. SQLite 및 MySQL을 기본으로 지원하나, 다른 SQL호환 데이터베이스도 사용할 수 있다.</p><h4><strong>메타데이터에 저장되는</strong> <strong>Artifact</strong></h4><p><strong>- 트레인된 모델<br>- 트레인에 사용된 데이터<br>- 평가 결과<br>- 각 component의 실행 기록</strong></p><p>ML Pipeline은 긴 lifecycle을 가지고 새로운 데이터나 조건이 변경됨에 따라 수시로 재수행되므로 이러한 기록을 보관하는 것이 디버깅과 재현에 중요한 역할을 할 수 있다.</p><p>또한 데이터가 파이프라인을 흐를때 그 리니지와 출처(lineage and provenance)도 보관한다. 이를 통해 component별 수행 결과와 출처를 알 수 있어서 파이프라인을 최적화하거나 디버그하는데 큰 도움이 될 수 있다.</p><h4><strong>Metadata Store사용의 이점이 뭘까?</strong></h4><p><strong>(1) </strong>모든 데이터 아티팩트의 리니지와 출처를 알고 있으므로 파이프라인 전체적으로 흐름을 추적할 수 있다. 예를 들면 <strong>각 모델을 훈련할 때 어떤 데이터를 사용했는지, 새로운 특징 추출이 평가 측정항목에 어떤 영향을 미쳤는지 등을 파악</strong>할 수 있다.</p><p><strong>(2)</strong> 프로덕션 솔루션은 길게는 몇 개월에서 몇 년까지도 수행될 수 있으므로, 단순히<strong> 현재의 모델 뿐만 아니라 예전에 실행한 모델 실행 결과와 비교해 결과가 바뀐 이유를 트랙킹</strong>하는데도 유용하게 사용될 수 있을 것이다.</p><p><strong>(3) </strong>또한 <strong>필요할 때만 구성요소를 다시 실행하는 warm booting</strong>을 통해 훨씬 효율적으로 파이프라인을 사용할 수도 있다. 이는 몇 시간이나 며칠씩 걸리는 데이터세트를 다룰때 특별히 유용할 것이다. component를 다시 실행하는 대신, <strong>캐시</strong>에서 이전 결과를 끌어오는게 가능하다.</p><p>TFX와 MLMD를 함께 사용할 때 이런 재사용이 가능하다.</p><h3>TFX Pipeline Orchestration</h3><p>마지막으로, ML Pipeline을 구성하는 component의 복잡한 실행 조건은 어떻게 조절할까?</p><p>만약 단순하게 순차 처리만 하는 파이프라인이라면 task 종료만 인식하는 간단한 아키텍처로도 가능하겠지만<strong>, component로부터 배출된 artifact를 저장하고 이에 따른 수행 조건을 조절 위해서는 task와 data의 조건을 모두 고려한 아키텍처</strong>가 필요할 것이다.</p><p>GCP에서 사용한다면 TFX component의 백앤드 orchestrator로 기본적으로 Airflow와 Kubeflow를 managed형태로 지원한다. 만약 이외에 다른 orchestrator가 필요하다면 코드를 통해 추가해야 한다.</p><h4>TFX Standard Component</h4><p>다음 글에서는 TFX의 Standard Component들에 대해 알아보자.</p><h3>References</h3><ul><li><a href="https://www.tensorflow.org/tfx/guide/understanding_tfx_pipelines">Understanding TFX Pipelines | TensorFlow</a></li><li><a href="https://cloud.google.com/architecture/architecture-for-mlops-using-tfx-kubeflow-pipelines-and-cloud-build">Architecture for MLOps using TensorFlow Extended, Vertex AI Pipelines, and Cloud Build | Cloud Architecture Center | Google Cloud</a></li></ul><p><a href="https://blog.tensorflow.org/2019/06/tensorflow-extended-tfx-real-world_26.html">https://blog.tensorflow.org/2019/06/tensorflow-extended-tfx-real-world_26.htm</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=2897b56feec7" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[[Java] Compressed Class Space와 Compressed Object Pointer]]></title>
            <link>https://jaemunbro.medium.com/java-compressed-class-space%EC%99%80-compressed-object-pointer-42567cce42be?source=rss-387ff067938c------2</link>
            <guid isPermaLink="false">https://medium.com/p/42567cce42be</guid>
            <category><![CDATA[compressedoop]]></category>
            <category><![CDATA[compressedclassspacesize]]></category>
            <category><![CDATA[compressed-object-pointer]]></category>
            <category><![CDATA[compressed-class-pointer]]></category>
            <category><![CDATA[java]]></category>
            <dc:creator><![CDATA[Jaemun Jung]]></dc:creator>
            <pubDate>Sat, 06 Nov 2021 14:18:22 GMT</pubDate>
            <atom:updated>2021-11-06T14:22:09.490Z</atom:updated>
            <content:encoded><![CDATA[<p>이전 글 <a href="https://jaemunbro.medium.com/java-metaspace%EC%97%90-%EB%8C%80%ED%95%B4-%EC%95%8C%EC%95%84%EB%B3%B4%EC%9E%90-ac363816d35e"><strong>[Java] Metaspace</strong></a>에서 Java 메모리 영역 중 Metaspace에 대해 알아보았다.이번에는 그 Metaspace의 일부를 차지하는 <strong>Compressed Class Space</strong>에 대해서 알아보자.</p><p>64bit 플랫폼에서, 핫스팟은 Compressed Object Pointers (“CompressedOops”)와 Compressed Class Pointers를 사용한다.</p><h3><strong>Metaspace와 Compressed Class Space의 차이</strong></h3><p>이전에 알아본 Metaspace와 Compressed Class Space의 차이는?</p><ul><li>Compressed Class Space는 오직 class metadata — Klass만 보관한다.<br>- InstanceKlass, ArrayKlass<br>- UseCompressedClassPointers가 true일때만 활용됨</li><li>Metaspace는 더 큰 사이즈의 모든 class metadata를 보관한다.<br>- Methods, Bytecodes, ConstantPool …</li></ul><p>Compressed Class Pointer와 Compressed Object Pointer에 대해서 조금 더 알아보자.</p><h3><strong>Compressed Class Pointer &amp; Compressed Object Pointer</strong></h3><p>먼저<strong> Compressed Class Pointer &amp; Compressed Object Pointer</strong> 모두 Compressed Pointer로,<strong> CompressedOops는 Java Heap의 object</strong>를, <strong>Compressed Class Pointer는 Metaspace의 class metadata</strong>를 가리킨다. <br>(참고로 “OOps”는 “ordinary” object pointer의 의미다.)</p><p>Compressed Pointer는 64bit 플랫폼에서도 32bit 포인터로 주소를 참조하는 방법이다. 어떻게?</p><p>32bit는 2³²까지 표현할 수 있으므로 최대 4G까지 주소 공간을 가리킬 수 있고, 64bit는 2⁶⁴까지 표현할 수 있으므로 이론상 18EB까지 주소 공간을 가리킬 수 있다. 하지만 64bit의 주소공간 자체가 크기 때문에 성능이 떨어질 수 밖에 없다.<br><strong>더 많은 연산과 더 많은 메모리 공간을 필요로 하기 때문이다. 반면에 32bit를 활용하면 memory 사용량이 작으므로 pointer size 자체도 작아지고</strong>, cache를 더 활용할 수 있고, register를 더 쓸 수 있다는 장점 등이 있다.</p><p>32bit 기반의 포인터로는 4GB 이상의 주소공간을 가리킬 수 없게 되고, 결국 이 때문에<strong> 32bit 포인터는 Object의 주소 자체를 찌르지 않는다(못한다). 대신 offset을 가리키게 된다</strong>. 이게 Compressed Pointer의 동작방식이다.(이와 달리<strong> Native OOP는 OOP가 바로 Object를 주소</strong>를 가리키게 된다.)</p><p>Java object는 그 header에 Java Heap이 아닌 Metaspace에 살고 있는 native structure인 Klass structrue에 대한 reference를 갖고 있다. 이때 32bit 값을 가진 compressed pointer를 통해서 64bit 주소를 찾아야하므로, 찾고자 하는 주소에 offset을 앞뒤로 붙여서 찾는 것이다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/900/1*b8-HdSqKA6B7qW4iwkfOxg.png" /><figcaption>(from <a href="https://stuefe.de/posts/metaspace/what-is-compressed-class-space/">https://stuefe.de/posts/metaspace/what-is-compressed-class-space/</a>)</figcaption></figure><p>offset은 8의 n배수로 계산되어, 값이 1이면 8번 주소, 2번이면 16번 주소를 가리키게 된다. n개의 OOP로 기존보다 <strong>8배 더 많은 주소 공간</strong>을 표시할 수 있게 된다. 그래서 <strong>Heap영역이 32GB를 넘어가게 되면 그때부터 JVM은 64bit 기반의 OOP를 사용하게 되며, 이러면 성능이 급격히 저하</strong>되게 된다.</p><p>이렇게 offset 구조로 Klass를 찾아야 하므로, Metaspace는 연속된 구조로 할당되는 것이다.</p><h4>XX:CompressedClassSpaceSize</h4><p>compressed class space의 크기는 -XX:CompressedClassSpaceSize에 의해 정의될 수 있다. 별도로 정의하지 않을 경우 <strong>default값은 1G</strong>이며, <strong>MAX로 설정할 수 있는 값은 3G</strong>이다.</p><p>평균적으로 Klass structure의 사이즈는 1K 내외이므로, 1G의 Compressed Class Space는 100만개의 Klass structure를 가질 수 있다. 이 제한이 <strong>바로 우리가 클래스를 로드할 때 클래스 개수가 제한되는 유일한 제한</strong>이다.</p><p>CompressedClassPointers는 CompressedOops이 없으면 자동으로 disable된다.</p><p>CompressedOops는 -XX:-CompressedOops 를 통해 명시적으로 끄거나, 자바 힙이 32GB 이상일 때 자동으로 off 된다. (위에서 말한 것처럼 Offset 구조로 활용할 때 32GB까지만 포인팅할 수 있으므로, 그 이상은 64bit Native pointer를 쓰게 되므로)</p><h3><strong>Switches: UseCompressedClassPointers, UseCompressedOops</strong></h3><ul><li><strong>-XX:+UseCompressedOops </strong>: enables compressed object pointers.</li><li><strong>-XX:+UseCompressedClassPointers </strong>: enables compressed class pointers.</li></ul><p>두 스위치 모두 default는 ON이다.</p><p>만약 <strong>UseCompressedClassPointers가 off</strong>되면, compressed class space가 존재하지 않게 되고, 따라서 <strong>XX:CompressedClassSpaceSize</strong> 스위치는 무시된다.</p><p>-XX:+UseCompressedClassPointers는 -XX:+UseCompressedOops가 ON 되어있는 경우만 사용할 수 있다. <br>UseCompressedClassPointers를 끄고 UseCompressedOops만 키는 방식을 통해 일부 엣지 케이스에서 Metaspace의 memory footprint를 줄일 수 있기는 한데, 일반적으로 둘다 그대로 두는 것이 권장된다.</p><p>위에서 언급한것처럼 32bit offset구조를 사용하는 <strong>Compressed object pointers는 32G 이하의 Java Heap까지 활용 가능</strong>하며,<strong> 32G 이상의 Java heap에서는 compressed oops는 off</strong>된다. 이에 따라서<strong> 저절로 compressed class pointer도 off</strong> 된다.</p><h3><strong>References</strong></h3><p><a href="http://java-latte.blogspot.com/2014/03/metaspace-in-java-8.html">http://java-latte.blogspot.com/2014/03/metaspace-in-java-8.html</a><br><a href="https://stuefe.de/posts/metaspace/what-is-compressed-class-space/">https://stuefe.de/posts/metaspace/what-is-compressed-class-space/</a><br><a href="http://xmlandmore.blogspot.com/2014/08/jdk-8-usecompressedclasspointers-vs.html">http://xmlandmore.blogspot.com/2014/08/jdk-8-usecompressedclasspointers-vs.html</a><br><a href="https://brunch.co.kr/@alden/35">https://brunch.co.kr/@alden/35</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=42567cce42be" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[[Java] 자바 메타스페이스(Metaspace)에 대해 알아보자.]]></title>
            <link>https://jaemunbro.medium.com/java-metaspace%EC%97%90-%EB%8C%80%ED%95%B4-%EC%95%8C%EC%95%84%EB%B3%B4%EC%9E%90-ac363816d35e?source=rss-387ff067938c------2</link>
            <guid isPermaLink="false">https://medium.com/p/ac363816d35e</guid>
            <category><![CDATA[java]]></category>
            <category><![CDATA[maxmetaspacesize]]></category>
            <category><![CDATA[metaspace]]></category>
            <category><![CDATA[native-memory]]></category>
            <dc:creator><![CDATA[Jaemun Jung]]></dc:creator>
            <pubDate>Wed, 03 Nov 2021 20:10:44 GMT</pubDate>
            <atom:updated>2022-01-20T18:36:38.735Z</atom:updated>
            <content:encoded><![CDATA[<h3>메타스페이스(Metaspace)</h3><h4>Permanent Generation to Metaspace</h4><p>Java8부터 JVM의 메모리 영역 중 Permanent Generation 메모리 영역이 사라지고 Metaspace 영역이 생겼다. <br>Metaspace는 간단히 말해 Java의 Classloader가 로드한 class들의 metadata가 저장되는 공간이다.<br> JVM7까지의 Permgen(Permanent Generation)과 JVM8 이후 Metaspace의<strong> 가장 큰 차이는 Metaspace는 Permgen과 달리 Heap 영역이 아닌 Native Memory 영역에 위치한다</strong>는 점이다.</p><p>아래 그림을 참고하자.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/513/0*rKZvTnuUkEc5LoXW.jpg" /><figcaption>Java7 vs Java8 JVM (from: <a href="https://www.programmersought.com/article/4905216600/">https://www.programmersought.com/article/4905216600/</a>)</figcaption></figure><p>따라서 “java.lang.OutOfMemoryError: PermGen space”과 같은 종류의 OOM은 더 이상 마주칠 일이 없으며, -Xmx option에 의해 설정되는 Heap사이즈가 아닌, Host 운영시스템에 의해서 그 사이즈가 제약된다.</p><p>그런데 그 말은 즉, 만약 애플리케이션이 많은 클래스(+ String Interning)를 로드한다면 단순히 애플리케이션의 OOM이 아니라<strong> 전체 서버를 다운시킬 수도 있다</strong>는 이야기가 될 수도 있다. 따라서 적절한 flag값(-XX:MaxMetaspaceSize 등)을 설정해주는 것이 필요할 수 있다.</p><p>또한, Heap size 모니터링 뿐만 아니라 Metaspace에 대한 모니터링이 필요할 수 있다. 가장 간단한 방법은 linux top 명령어를 통해 process size 등을 체크해보는 건데, 아래에서 모니터링에 대해 조금 더 알아보자.</p><p>참고로 Metaspace는 아래와 같은 용어들과 혼용되어 쓰이기도 한다:<br>Native Area, Native Memory, Off-Heap, Non-heap, Direct Memory 등</p><h4>Metadata</h4><p><strong>Class의 metadata는, JVM process 안에 있는 Java class들의 runtime으로, 간단히 말해 JVM이 해당 class에 알아야하는 모든 정보</strong>(<a href="https://docs.oracle.com/javase/specs/jvms/se8/html/jvms-4.html">JVM class file format</a>)를 포함한다.</p><p><a href="https://docs.oracle.com/javase/specs/jvms/se8/html/jvms-4.html"><strong>JVM class file format</strong></a>에 포함된 정보</p><ul><li>“Klass” structure</li><li>Method metadata: class file내의 method_info, bytecode, exception table, constants 등</li><li>constant pool</li><li>Annotations</li></ul><p>Metadata의 예를 들면, java.lang.Class는 Java heap안에 사는 object지만, 그 class metadata는 Java object가 아니며 heap 안에 위치하지 않는다. 이 metadata는 heap 외부의 native memory 구역에 위치하며, 바로 이 구역이 Metaspace이다.</p><h4>Metaspace allocation and release</h4><p>Metaspace는 언제 할당되고 릴리즈될까?</p><p>할당은, Class가 로드되고 런타임이 JVM에 준비될 때 class의 metadata 저장을 위해 metaspace가 class loader에 의해 할당된다.<br>릴리즈는 class loader가 unload될 때만 일어난다.<br>아래 그림을 한번 보자.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*FU-3aV6wV7IIQgujLn3tJA.png" /><figcaption>Metaspace allocation and release (image from <a href="https://stuefe.de/posts/metaspace/what-is-metaspace/#fn:1">https://stuefe.de/posts/metaspace/what-is-metaspace/#fn:1</a>)</figcaption></figure><p>즉, 릴리즈는 <strong>어떤 live instance도 없고 어떤 참조도 없는 상태에서 GC가 일어난 이후에야 릴리즈 되는 것</strong>이다.</p><h4>MaxMetaspaceSize, CompressedClassSpaceSize</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/620/0*gZPIQyY3QoKudh20.jpg" /><figcaption>영역별 Flag</figcaption></figure><p>Metaspace의 사이즈를 지정하는 파라미터들 중 대표적으로 MaxMetaspaceSize, CompressedClassSpaceSize가 있다.</p><ul><li><strong>-XX:MetaspaceSize</strong> : 초기/최소 metaspace size</li><li><strong>-XX:MaxMetaspaceSize</strong> : 최대 metaspace size</li><li><strong>-XX:CompressedClassSpaceSize</strong> : metaspace의 중요한 부분인 Compressed Class Size의 가상 사이즈를 지정한다. default 값은 1G이며 최대값은 3G다.</li></ul><p>Metaspace 관련 튜닝이 가능한 전체 파라미터들을 조회해보자. 아래 커맨드를 활용할 수 있다.</p><pre>java -XX:+PrintFlagsFinal -version | grep &lt;concept&gt;</pre><p>결과 예시를 한번 보면:</p><pre>&gt; java -XX:+PrintFlagsFinal -version | grep Metaspace</pre><pre>uintx InitialBootClassLoaderMetaspaceSize = 4194304 {product}<br>uintx MaxMetaspaceExpansion = 5451776 {product}<br>uintx MaxMetaspaceFreeRatio = 70 {product}<br>uintx MaxMetaspaceSize = 18446744073709547520 {product}<br>uintx MetaspaceSize = 21807104 {pd product}<br>uintx MinMetaspaceExpansion = 339968 {product}<br>uintx MinMetaspaceFreeRatio = 40 {product}<br>bool UseLargePagesInMetaspace = false {product}</pre><h4>GC</h4><p>위에서 이야기한 것처럼 Metaspace 공간의 릴리즈는 오직 class가 unload되고 GC가 일어날 때만 발생한다. 따라서, H<strong>eap입장에서는 GC를 통해 얻을 수 있는 것이 많지 않은 경우라도, metaspace내의 오래된 class metadata 청소를 위해 GC가 수행되는 것이 효율적일 수 </strong>있다.</p><p>Metaspace에서 유도되는 GC는 대표적으로 두가지가 있다.</p><ul><li><strong>Metaspace 할당 시:</strong> 지속적으로 metadata를 쌓으면서 metaspace를 확장시키는 대신, Metaspace의 효율적 활용을 위해 어느 임계지점에서는 오래된 class loader들을 GC를 통해 정리하는 시도를 한다.</li><li><strong>Metaspace OOM 시: </strong>커밋된 메모리의 합계가 MaxMetaspaceSize를 넘었거나, Compressed Class Space가 부족할 때 GC가 발생할 수 있다.</li></ul><h4>Metaspace Monitoring</h4><p>Metaspace의 사용량을 모니터링해보자.</p><p><strong>jstat</strong>을 통해 현재 Metaspace의 가용량 중 활용량이 %로 표출되는 것을 확인할 수 있다. jstat의 추가 정보는<a href="https://docs.oracle.com/javase/8/docs/technotes/tools/unix/jstat.html"> java doc</a>을 참고하자.</p><pre>jstat -gcutil &lt;pid&gt; | awk ‘{print($5)}’</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*uXeYDbyTsaUWLj2hMI1dgg.png" /><figcaption>jstat 조회</figcaption></figure><p>Java11부터는 <strong>jcmd</strong> 커맨드를 통해 훨씬 상세한 모니터링이 가능하다.</p><pre>jcmd &lt;pid or process name&gt; VM.metaspace</pre><p>예시를 한번 보자.</p><pre>$ jcmd wildfly VM.metaspace</pre><pre>31997:</pre><pre>Total Usage ( 1041 loaders):</pre><pre>Non-Class: 2837 chunks, 58,62 MB capacity, 53,54 MB ( 91%) used, 4,90 MB ( 8%) free, 2,59 KB ( &lt;1%) waste, 177,31 KB ( &lt;1%) overhead, deallocated: 5065 blocks with 1,01 MB</pre><pre>Class: 1653 chunks, 9,93 MB capacity, 7,44 MB ( 75%) used, 2,40 MB ( 24%) free, 208 bytes ( &lt;1%) waste, 103,31 KB ( 1%) overhead, deallocated: 653 blocks with 285,77 KB</pre><pre>Both: 4490 chunks, 68,55 MB capacity, 60,98 MB ( 89%) used, 7,29 MB ( 11%) free, 2,79 KB ( &lt;1%) waste, 280,62 KB ( &lt;1%) overhead, deallocated: 5718 blocks with 1,29 MB</pre><pre>Virtual space:</pre><pre>Non-class space: 60,00 MB reserved, 58,75 MB ( 98%) committed<br>Class space: 248,00 MB reserved, 10,00 MB ( 4%) committed<br>Both: 308,00 MB reserved, 68,75 MB ( 22%) committed</pre><pre>Chunk freelists:</pre><pre>Non-Class:</pre><pre>specialized chunks: 1, capacity 1,00 KB<br>small chunks: 11, capacity 44,00 KB<br>medium chunks: (none)<br>humongous chunks: (none)<br>Total: 12, capacity=45,00 KB</pre><pre>Class:</pre><pre>specialized chunks: (none)<br>small chunks: 2, capacity 4,00 KB<br>medium chunks: (none)<br>humongous chunks: (none)<br>Total: 2, capacity=4,00 KB</pre><pre>Waste (percentages refer to total committed size 68,75 MB):</pre><pre>Committed unused: 156,00 KB ( &lt;1%)<br>Waste in chunks in use: 2,79 KB ( &lt;1%)<br>Free in chunks in use: 7,29 MB ( 11%)<br>Overhead in chunks in use: 280,62 KB ( &lt;1%)</pre><pre>In free chunks: 49,00 KB ( &lt;1%)</pre><pre>Deallocated from chunks in use: 1,29 MB ( 2%) (5718 blocks)</pre><pre>-total-: 9,06 MB ( 13%)</pre><pre>MaxMetaspaceSize: 256,00 MB<br>InitialBootClassLoaderMetaspaceSize: 4,00 MB<br>UseCompressedClassPointers: true<br>CompressedClassSpaceSize: 248,00 MB</pre><h3>References</h3><ul><li><a href="https://stuefe.de/posts/metaspace/what-is-compressed-class-space/">What is Compressed Class Space?</a></li><li><a href="https://stuefe.de/posts/metaspace/analyze-metaspace-with-jcmd/">Analyze Metaspace with jcmd VM.metaspace</a></li><li><a href="http://karunsubramanian.com/websphere/one-important-change-in-memory-management-in-java-8/">One important change in Memory Management in Java 8 - Karunsubramanian.com</a></li><li><a href="https://www.baeldung.com/native-memory-tracking-in-jvm">Native Memory Tracking in JVM | Baeldung</a></li><li><a href="https://stackoverflow.com/questions/33824687/i-need-to-monitor-jvm-metaspace-usage/33825130">I need to monitor JVM Metaspace usage</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=ac363816d35e" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[[GCP] ACE(Associate Cloud Engineer) 후기]]></title>
            <link>https://jaemunbro.medium.com/gcp-ace-associated-cloud-engineer-%ED%9B%84%EA%B8%B0-%EB%B0%8F-%EA%B0%9C%EC%9D%B8%EC%A0%81%EC%9D%B8-%EC%9A%94%EC%A0%90-%EC%A0%95%EB%A6%AC-8c9f6eb4c4c2?source=rss-387ff067938c------2</link>
            <guid isPermaLink="false">https://medium.com/p/8c9f6eb4c4c2</guid>
            <category><![CDATA[시험]]></category>
            <category><![CDATA[ace]]></category>
            <category><![CDATA[자격증]]></category>
            <category><![CDATA[gcp]]></category>
            <category><![CDATA[associate-cloud-engineer]]></category>
            <dc:creator><![CDATA[Jaemun Jung]]></dc:creator>
            <pubDate>Sat, 21 Aug 2021 17:38:51 GMT</pubDate>
            <atom:updated>2022-02-17T17:16:49.419Z</atom:updated>
            <content:encoded><![CDATA[<h3>[GCP] ACE(Associate Cloud Engineer) 후기와 요점 정리</h3><h4>아주 간단한 후기</h4><p>GCP를 공부하면서 Google Cloud의 자격증 중 입문급 자격증인 Associate Cloud Engineer를 치르고 왔습니다. <br>이왕 보는 거 상위 시험인 PCA(Professional Cloud Architect)를 보라고 이야기해주신 분도 계셨어서 고민을 좀 했는데, 첫 GCP 시험으로 ACE를 선택한 것이 나쁘지 않은 선택을 한 것 같습니다.</p><p>개인적으로 GCP에 대한 지식 수준은, 이전에 구글 스터디잼을 몇번 참가해서 퀵랩 맛만 조금 봤고, 실무에서 GCP를 사용해본 경험은 없는 상태였습니다.<br>그래도 클라우드에 익숙한 경험이 도움이 될 것이라 생각했고, Professional이 아닌 입문급 자격증이니 좀 할만하지 않을까 생각했는데, 처음에 내용을 보니 생각처럼 쉽지는 않았습니다. <br>물론 AWS, GCP등 클라우드 프로바이더간 기본 컨셉은 공유하는 것이 많기는 하지만, specific config에 대해서 묻는 문제도 꽤 있구요. 그래서 원래 짧게 잡았던 일정에서 시험을 한번 미루기도 했습니다. <br>문제은행만 바짝 풀어서 어떻게든 급하게 치러볼 수도 있었겠지만 진짜 목적은 통과가 아니라 GCP의 기본 컨셉들을 찬찬히 최대한 학습하는 거니까요.</p><p>근데 서운하게 ACE는 왜 기념품으로 티셔츠 하나조차 주지 않는거죠? 그걸 진작 알았다면 PCA를…(<em>이 부분에서 좀 후회가…</em>)</p><p>아래에서<strong> 1. 시험 기본 정보, 2. (개인적인) 시험 준비 방식 3. 요점 정리</strong> 순으로 정리하겠습니다.</p><p>기본적인 정보는 다른 후기에서도 너무 많으니 간단하게만 훑으면,</p><ul><li>비용: $75 (온라인 할인)</li><li>시험방식: 온라인</li><li>시간/문제수: 2시간, 객관식 50문제</li></ul><p>시험 준비는,<strong> (1) Coursera, (2) 문제은행, (3) 구글 공식 문서</strong>를 활용했습니다.</p><p>처음에는 먼저 GCP와 친해지기 위해 Coursera에서 <br>- <a href="https://www.coursera.org/learn/gcp-fundamentals">Google Cloud Fundamentals: Core Infrastructure</a><br>- <a href="https://www.coursera.org/learn/preparing-cloud-associate-cloud-engineer-exam">Preparing for the Google Cloud Associate Cloud Engineer Exam</a> <br>두 강좌를 꼼꼼히 들었습니다. <br>추가로 <a href="https://www.coursera.org/learn/google-kubernetes-engine">Getting Started with Google Kubernetes Engine</a> 는 빠르게 훑었는데, 만약 시간이 충분하다면 ACE 준비 커리큘럼(<a href="https://www.coursera.org/professional-certificates/cloud-engineering-gcp#courses">Preparing for Google Cloud Certification: Cloud Engineer Professional Certificate</a>)을 모두 듣는 것을 추천하고 싶습니다. 현재는 시간 여유를 갖고 PCA를 준비하면서 틈틈이 다른 강좌를 모두 듣고 있습니다. <br>그러나 이 강좌들만으로 시험을 보기에는 절대적으로 부족합니다.</p><p>다음에는 <strong>문제은행</strong>을 제공하는 사이트들에서 연습문제를 풀면서 문제 유형을 익히고 <strong>주요 내용이나 부족한 내용을 구글 공식 문서</strong>로 훑어보았습니다.<br>아무래도 객관식 문제은행형 시험이다보니 문제를 푸는 것이큰 도움이 되었습니다. 공식 문서가 가장 중요한 건 당연하구요!</p><p>아래에 후기가 괜찮은 사이트들을 몇개 리스팅 했습니다.</p><ul><li>기본은 <a href="https://cloud.google.com/certification/sample-questions/cloud-engineer"><strong>Google Cloud</strong></a>에서 제공하는 연습문제 조금.<br>기본적인 문제 유형 감을 잡아보기 위해 일찌감치 해보면 좋을 듯.</li><li><a href="https://www.examtopics.com/exams/google/associate-cloud-engineer/"><strong>Examtopics</strong></a><strong> <br></strong>무료로도 문제를 풀어볼 수 있는데, 대신 자비 없이 capcha를 매번 네 문제마다 풀게합니다.. $16 아끼려고 수십번 capcha 하다보면 자괴감이… <br>그리고 ‘답’을 제공하는데 그건 왜 제공하는지 의아해집니다. 80% 정도는 답이 틀려있습니다. 그냥 기능을 빼지…?<br>사이트에서 제공하는 답 대신 답을 잘 정리해주신 네이버 <a href="https://blog.naver.com/kroa/222235702688">블로그</a>가 있어서 아주 유용하게 참고했습니다. (감사합니다.)</li><li><a href="https://acloudguru.com/course/google-certified-associate-cloud-engineer"><strong>Acloud</strong></a><strong> </strong><br>강의 + 연습문제를 모두 제공.<br>일주일 무료 체험 기간을 주기 때문에 딱 그 사이에 다 마치고 계약을 해지하면 무료로 공부할 수 있…ㅎㅎ; <br>최소단위인 월 수강은 $35.</li><li><a href="https://www.vmexam.com/google/gcp-ace-google-associate-cloud-engineer"><strong>vmexam</strong></a><strong> </strong><br>1000문제 정도 되는 문제은행에서 끊임없이 연습시험을 볼 수 있습니다. 문제 pool이 가장 큰 것 같습니다. <br>문제은행 가격은 $26.90.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/782/1*MseteGdGL7e1g-ks3ePhyg.png" /><figcaption><a href="https://www.examtopics.com/exams/google/associate-cloud-engineer/"><strong>Examtopics</strong></a>에서 GCP 시험을 준비할수록 캡차를 푸는 속도가 빨라지는 부수적인 능력이 생겼습니다.</figcaption></figure><p>오답노트를 만들고, 오답노트에서 자주 나오는 유형에 대해서는 GCP 공식 문서를 보면서 추가로 내용을 정리했습니다.</p><p>아래는 테스트를 준비하면서 정리 해둔 내용입니다. 따라서 모든 영역을 커버하는 것이 아니라, <strong>개인적인 요점 정리</strong>입니다.</p><h3>Sections</h3><ol><li><strong>VPC (Subnet, Loadbalancer + Firewall)</strong></li><li><strong>Logging</strong></li><li><strong>IAM (Identity and Access Management)</strong></li><li><strong>Billing</strong></li><li><strong>CLIs</strong></li><li><strong>GKE (Google Kubernetes Engine)</strong></li></ol><p>문제를 풀다 보니 개인적으로 IAM이나 CLI 등의 specific config나 command에 대해 묻는 문제들이 좀 까다로웠습니다. 다행히 해당 유형의 문제가 나올 때 (치사하게(?)) 구석구석 숨어있는 내용을 물어보는 것은 아니고, 주요 설정과 커맨드 위주로 물어보는 것으로 보입니다. 그래서 문제은행에서 나오는 유형과 공식 문서를 한번 훑어보고 나면 시험에서도 그 내용에서 벗어나지는 않았던 것 같습니다.</p><p>아래 모든 자료의 소스는 <strong>GCP 공식 문서</strong>입니다. 섹션별로 링크를 첨부했습니다.</p><h3>1. VPC (Subnet, Loadbalancer + Firewall)</h3><h4>(1) VPC Overview</h4><p><strong>a. VPC : Global Resource!<br> </strong>VPC는 글로벌, 서브넷은 리전 단위이므로, 글로벌 서비스의 경우 한 VPC 안에 리전별 서브넷을 두고 내부망처럼 서비스 가능함.</p><blockquote><strong><em>VPC 네트워크는 연결된 라우터와 방화벽 규칙을 포함하여 </em></strong><a href="https://cloud.google.com/compute/docs/regions-zones/global-regional-zonal-resources#globalresources"><strong><em>Global Resource</em></strong></a><em>입니다. VPC 네트워크는 특정 리전 또는 영역과 연결되지 않습니다.</em></blockquote><blockquote><strong>VPC 네트워크 내의 리소스는 관련 네트워크 방화벽 규칙에 따라 내부 IPv4 주소를 사용하여 서로 통신</strong>할 수 있습니다. 자세한 내용은 <a href="https://cloud.google.com/vpc/docs/vpc#intra_vpc_reqs">네트워크 내 통신</a>을 참조하세요.</blockquote><blockquote><strong><em>Subnet</em></strong><em>은 </em><a href="https://cloud.google.com/compute/docs/regions-zones/global-regional-zonal-resources#regionalresources"><strong><em>Region Resource</em></strong></a><em>입니다. 각 서브넷은 IP 주소 범위를 정의합니다.</em></blockquote><p><strong>b. 트래픽 제어</strong><br>트래픽 제어, 로깅은 VM 단위.</p><blockquote>인스턴스에서 송수신되는 트래픽은 네트워크 <a href="https://cloud.google.com/vpc/docs/vpc#firewall_rules">방화벽 규칙</a>으로 제어할 수 있습니다. 규칙은 VM 자체에서 구현되므로 VM에서 나가거나 도착할 때만 트래픽을 제어하고 로깅할 수 있습니다.</blockquote><p><strong>c. VPC 통합<br>Shared VPC</strong>는 조직 내 여러 프로젝트들을 한 VPC 내부망 안에 합칠 수 있는 것이고, <strong>VPC Network Peering</strong>은 네트워크 관리 도메인이 구분된 복수의 VPC를 내부IP로 연결이 가능하도록 제공하는 기능임. 다른 팀이 쓰는 VPC랑 내부망 통신이 필요할 때 같은.</p><blockquote><a href="https://cloud.google.com/resource-manager/docs/cloud-platform-resource-hierarchy#organizations"><strong>Organization</strong></a><strong>에서는 Shared </strong><a href="https://cloud.google.com/vpc/docs/shared-vpc"><strong>VPC</strong></a><strong>를 사용하여 VPC 네트워크를 공용 호스트 프로젝트에 유지</strong>할 수 있습니다. 동일한 조직의 다른 프로젝트에서 승인된 IAM 구성원은 공유 VPC 네트워크의 서브넷을 사용하는 리소스를 만들 수 있습니다.</blockquote><blockquote><a href="https://cloud.google.com/vpc/docs/vpc-peering"><strong>VPC Network Peering</strong></a>을 사용하여 VPC 네트워크를 다른 프로젝트 또는 Organization의 다른 VPC 네트워크에 연결할 수 있습니다.</blockquote><p><strong>d. Hybrid 환경</strong><br>온프렘 환경과 VPC 연결 시</p><blockquote><a href="https://cloud.google.com/network-connectivity/docs/vpn/concepts/overview"><strong>Cloud VPN</strong></a><strong>이나 </strong><a href="https://cloud.google.com/network-connectivity/docs/interconnect/concepts/overview"><strong>Cloud Interconnect</strong></a><strong>를 사용</strong>하여 하이브리드 환경에서 VPC 네트워크를 안전하게 연결할 수 있습니다.</blockquote><p><a href="https://cloud.google.com/vpc/docs/overview">Virtual Private Cloud (VPC) overview | Google Cloud</a></p><h4>(2) Subnet</h4><ul><li>각 VPC 네트워크는 서브넷이라는 하나 이상의 IP 범위 파티션으로 구성됩니다.</li><li>각 서브넷은 리전과 연결됩니다.</li><li>VPC 네트워크에는 IP 주소 범위가 연결되어 있지 않으며, IP 범위는 <a href="https://cloud.google.com/vpc/docs/vpc?hl=ko#manually_created_subnet_ip_ranges">서브넷에 대해 정의</a>됩니다.</li><li><strong>Range of Private IP addresses</strong><br>10.0.0.0/8<br>172.16.0.0/12<br>192.168.0.0/16</li></ul><h4>(3) Shared VPC</h4><ul><li>Shared VPC를 사용하는 <a href="https://cloud.google.com/resource-manager/docs/cloud-platform-resource-hierarchy">Organization</a>은 여러 프로젝트의 리소스를 한 <a href="https://cloud.google.com/vpc/docs/vpc">VPC 네트워크</a>에 연결할 수 있으므로 해당 네트워크의 <strong>내부 IP</strong>를 사용하여 안전하고 효율적으로 통신할 수 있습니다.</li><li>공유 VPC를 사용할 때는 <strong>프로젝트 하나를 <em>호스트 프로젝트</em>로 지정하고 여기에 하나 이상의 다른 <em>서비스 프로젝트</em>를 연결</strong>합니다.</li><li>서비스 프로젝트의 <a href="https://cloud.google.com/vpc/docs/shared-vpc#resources_that_can_be_attached_to_shared_vpc_networks_from_a_service_project">리소스</a>는<strong> Share VPC의 서브넷을 사용</strong>할 수 있습니다.</li><li>Shared VPC를 사용하면 <a href="https://cloud.google.com/resource-manager/docs/cloud-platform-resource-hierarchy#organizations"><strong>조직 관리자</strong></a><strong>가 서브넷, 경로, 방화벽과 같은 네트워크 리소스를 중앙에서 제어</strong>하면서 <a href="https://cloud.google.com/vpc/docs/shared-vpc#iam_in_shared_vpc">서비스 프로젝트 관리자</a>에게 인스턴스 생성 및 관리와 같은 관리 책임을 위임할 수 있습니다.</li></ul><p><a href="https://cloud.google.com/vpc/docs/shared-vpc">Shared VPC | Google Cloud</a></p><h4>(4) VPC Peering</h4><p>Google Cloud VPC 네트워크 피어링은<strong> 동일한 프로젝트에 속하는지 또는 동일한 조직에 속하는지에 관계없이 두 개의 Virtual Private Cloud(VPC) 네트워크에서 </strong><a href="https://cloud.google.com/vpc/docs/ip-addresses"><strong>내부 IP 주소</strong></a><strong> 연결을 허용</strong>합니다.</p><ul><li>사용 환경:<br>- Google Cloud의 SaaS(<a href="https://wikipedia.org/wiki/Software_as_a_service">Software-as-a-Service</a>) 생태계. 조직 내 및 조직 간 서로 다른 VPC 네트워크에서 서비스를 비공개로 제공할 수 있습니다.<br>- 내부 IP 주소를 사용하여 통신해야 하는 네트워크 관리 도메인이 여러 개 있는 조직</li><li>이점(외부 네트워크 대비)<br>- 네트워크 지연 시간: 외부 주소를 사용하는 연결보다 지연 시간이 짧습니다.<br>- 네트워크 보안: 공개 인터넷에 서비스를 노출 X<br>- 네트워크 비용: Google Cloud는 트래픽이 같은 영역 내에 있더라도 외부 IP를 사용하여 통신하는 네트워크에 <a href="https://cloud.google.com/vpc/network-pricing#internet_egress">이그레스 대역폭 가격</a>을 청구합니다. 그러나 피어링된 네트워크의 경우 내부 IP를 사용하여 통신하면 이러한 이그레스 비용을 절약할 수 있습니다.</li></ul><p><a href="https://cloud.google.com/vpc/docs/vpc-peering">VPC Network Peering | Google Cloud</a></p><h4>(5) Hybrid Network with On-premises</h4><p><strong>Cloud VPN</strong> 또는<strong> Cloud Interconnect</strong>를 사용하여 온프레미스 네트워크를 VPC 네트워크에 안전하게 연결.</p><p><strong>a. Cloud VPN <br></strong>Cloud VPN은 <a href="https://wikipedia.org/wiki/IPsec">IPsec</a> <a href="https://wikipedia.org/wiki/Virtual_private_network">VPN</a> 연결을 통해 <em>피어 네트워크</em>를 <a href="https://cloud.google.com/vpc/docs/vpc">Virtual Private Cloud(VPC) 네트워크</a>에 안전하게 연결합니다. <br>IPsec VPN 터널은 트래픽이 공개 인터넷을 거칠 때 업계 표준 IPsec 프로토콜을 사용하여 데이터를 암호화하여 보호합니다.</p><p><strong>b. Cloud Interconnect<br></strong>Cloud Interconnect는 지연 시간이 짧고 가용성이 높은 연결을 제공하므로 온프레미스 네트워크와 Google Cloud Virtual Private Cloud(VPC) 네트워크 간에 안정적으로 데이터를 전송할 수 있습니다. 또한<strong> Interconnect 연결은 내부 IP 주소 통신을 제공하므로 양측 네트워크 모두에서 내부 IP 주소에 직접 액세스</strong>할 수 있습니다.</p><ul><li><em>Dedicated Interconnect</em>는 온프레미스 네트워크와 Google 네트워크 간에 물리적인 직접 연결을 제공합니다.</li><li><em>Partner Interconnect</em>는 지원되는 서비스 제공업체를 통해 온프레미스 네트워크와 VPC 네트워크 간의 연결을 제공합니다.</li></ul><p><strong>장점 of Cloud Interconnect<br>- </strong>온프레미스 네트워크와 VPC 네트워크 간의 트래픽이 <strong>공개 인터넷을 거치지 않습니다</strong>. 트래픽은 전용 연결이나 전용 연결을 갖춘 서비스 제공업체를 통해 전달됩니다. 공개 인터넷을 거치지 않아 트래픽 홉 수가 감소하므로 트래픽이 손실되거나 중단될 수 있는 장애 지점도 감소합니다.<br>- 온프레미스 네트워크에서 직접 VPC 네트워크의 내부 IP 주소에 액세스할 수 있습니다. 내부 IP 주소에 연결하기 위해 NAT 기기나 VPN 터널을 사용할 필요가 없습니다. 자세한 내용은 <a href="https://cloud.google.com/network-connectivity/docs/interconnect/concepts/overview#ip-addressing-dynamic-routes">IP 주소 지정 및 동적 경로</a>를 참조하세요.</p><p><a href="https://cloud.google.com/hybrid-connectivity">Cloud Hybrid Connectivity - Faster Networking | Network Connectivity</a></p><h4>(6) Load Balancer</h4><p>트래픽 유형별 적합한 Load Balancer 타입을 참고.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*DtjmiIl5zX10WtKb1pqaMw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*oVAJTWZr1M4ISjQHq4_CsQ.png" /></figure><p><a href="https://cloud.google.com/load-balancing/docs/choosing-load-balancer">Choosing a load balancer | Load Balancing | Google Cloud</a></p><h3>2. Logging</h3><p>Google Cloud 프로젝트는 Compute Engine 또는 BigQuery와 같은 로그 항목을 생성하는 <strong>서비스를 사용하기 시작하면 로그 항목을 수신</strong>합니다. 또한 Cloud Monitoring을 AWS에 연결하거나, VM 인스턴스에 Logging 에이전트를 설치할 때, Logging API에서 <a href="https://cloud.google.com/logging/docs/api/reference/rest/v2/entries/write">entries.write</a> 메서드를 호출할 때도 로그 항목을 가져옵니다.</p><p>로그 항목의 최소 요소:</p><ul><li>타임스탬프: 이벤트 발생 시점 또는 Cloud Logging 수신 시점</li><li>로그 항목을 생성한 모니터링 리소스</li><li>구조화되지 않은 텍스트 데이터 or JSON 형식의 구조화된 텍스트 데이터로 제공되는 payload(<em>a.k.a message</em>)</li><li>로그가 속한 로그의 이름.</li></ul><p>Logging Agent의 종류에는 GCE 기본 분석을 위한 Ops Agent와 애플리케이션 로그 분석을 할 수 있는 Legacy Logging Agent가 있습니다.</p><p><strong>a. Ops Agent<br></strong>Compute Engine 인스턴스에서 원격 분석을 수집하기 위한 기본 에이전트. <br>이 에이전트는 로깅과 측정항목을 단일 에이전트로 결합하여 로그 및 측정항목을 수집하는 YAML 기반 구성을 제공하며 대용량 로깅을 지원합니다.</p><p><strong>b. Legacy Logging Agent<br></strong>일반적인 타사 애플리케이션 및 시스템 소프트웨어에서 Logging으로 로그를 스트리밍합니다. 추가 로그를 스트리밍하도록 에이전트를 구성할 수 있습니다.</p><p><strong>c. Audit Log</strong></p><ul><li><a href="https://cloud.google.com/logging/docs/audit#admin-activity">Admin Activity audit logs</a></li><li><a href="https://cloud.google.com/logging/docs/audit#data-access">Data Access audit logs</a></li><li><a href="https://cloud.google.com/logging/docs/audit#system-event">System Event audit logs</a></li><li><a href="https://cloud.google.com/logging/docs/audit#policy_denied">Policy Denied audit logs</a></li></ul><p><a href="https://cloud.google.com/logging/docs/concepts">Concepts | Cloud Logging | Google Cloud</a></p><h3>3. IAM(Identity and Access Management)</h3><p>IAM은 대한 문제도 꽤 나오는 느낌입니다. 안보면 틀리기 쉽지만, 한번 보면 복잡한 내용은 없으므로 한번은 훑어보는 것이 좋을 것 같습니다.</p><p><strong>a. Member/Role/Policy</strong></p><ul><li><strong>Member</strong>. <br>Member는 Google 계정(유저), 서비스 계정(앱 및 가상 머신), Google 그룹 또는 리소스에 액세스할 수 있는 Google Workspace나 Cloud ID 도메인일 수 있습니다. 구성원 ID는 사용자, 서비스 계정 또는 Google 그룹과 연결된 이메일 주소이거나 Google Workspace 또는 Cloud ID 도메인과 연결된 도메인 이름입니다.</li><li><strong>Role</strong>. <br>역할은 권한의 모음입니다. 권한은 리소스에 대해 허용되는 작업을 결정합니다. 구성원에게 역할을 부여하면 역할에 포함된 모든 권한을 부여하게 됩니다.</li><li><strong>Policy</strong>. <br><em>IAM 정책</em>은 하나 이상의 구성원을 개별 역할에 결합하는 역할 binding 모음입니다. 리소스에 대해 누구(구성원)에게 어떠한 액세스 권한(역할)이 있는지 정의하려면 정책을 만들고 리소스에 연결합니다.</li></ul><p><strong>b. Role — Default, Predefined, Custom</strong></p><ul><li><strong>Default Role (primitive)<br></strong>이전부터 Google Cloud Console에 제공되는 역할로, 소유자, 편집자, 뷰어 역할이 있습니다. <br><strong>주의:</strong> 모든 Google Cloud 서비스에서 기본 역할에는 수천 가지 권한이 포함됩니다. <strong>프로덕션 환경에서는 대체 역할이 없는 경우가 아니라면 기본 역할을 부여하지 말아야 합니다. 대신 니즈를 충족하지만 가장 제한된 </strong><a href="https://cloud.google.com/iam/docs/understanding-roles#predefined_roles"><strong>사전 정의된 역할</strong></a><strong>이나 </strong><a href="https://cloud.google.com/iam/docs/understanding-custom-roles"><strong>커스텀 역할</strong></a>을 부여합니다.</li><li><strong>Predefined Role</strong> <br>기본 역할보다 더욱 세부적으로 액세스 권한을 제어할 수 있는 역할입니다. 예를 들어 사전 정의된 역할 Pub/Sub 게시자(roles/pubsub.publisher)는 메시지를 Pub/Sub 주제에 게시할 수 있는 액세스 권한<em>만</em> 부여합니다.</li><li><strong>Custom Role<br></strong>사전 정의된 역할로 필요한 사항을 조직에 충족할 수 없는 경우 조직의 필요에 맞게 생성하는 커스텀 역할입니다.</li></ul><p><strong>c. Best Practices<br></strong>문제 중 까다로울 수 있는 부분은, 보기 여러 개가 모두 원하는 결과에 도달할 수는 있는데, 이 중에 Google에서 권장하는 Best Practice가 무엇이냐를 묻는 경우가 종종 있습니다. 그래서 아래와 같은 Best Practice 관련 내용들이 있으면 한번씩 살펴보는 것도 좋을 듯 합니다.</p><blockquote>정책을 리소스 수준이 아닌 조직 수준 및 프로젝트 수준에서 설정합니다. 새로운 리소스가 추가될 경우 상위 리소스의 정책이 자동으로 상속되도록 하기 위해서입니다. 예를 들어 자동 확장을 통해 새로운 가상 머신이 프로젝트에 추가되면 자동으로 프로젝트의 정책을 상속합니다.</blockquote><blockquote>가능하면 개별 사용자가 아닌 Google 그룹에 역할을 부여합니다. 이렇게 하면 IAM 정책을 업데이트하는 것보다 Google 그룹의 구성원을 관리하기가 더욱 쉽습니다. IAM 정책에 사용되는 Google 그룹의 소유권을 제어하세요.</blockquote><blockquote><a href="https://wikipedia.org/wiki/Principle_of_least_privilege">최소 권한</a>의 보안 원칙을 사용하여 IAM 역할을 부여합니다. 이를 통해 리소스에 필요한 최소한의 액세스 권한만 부여할 수 있습니다.</blockquote><blockquote>사전 정의된 적절한 역할을 찾으려면 <a href="https://cloud.google.com/iam/docs/understanding-roles#predefined_roles">사전 정의된 역할 참조</a>를 참조하세요. 사전 정의된 적절한 역할이 없는 경우 자체 <a href="https://cloud.google.com/iam/docs/understanding-custom-roles">커스텀 역할</a>을 만들 수도 있습니다.</blockquote><blockquote>필요한 최소 범위의 역할만 부여합니다. 예를 들어 Pub/Sub 주제에 메시지를 게시하기 위한 액세스 권한만 필요한 사용자에게 해당 주제의 <a href="https://cloud.google.com/pubsub/access_control#tbl_roles">게시자</a> 역할을 부여합니다.</blockquote><blockquote>하위 리소스 정책은 상위 리소스 정책을 상속받습니다. 예를 들어 프로젝트 정책이 사용자에게 Compute Engine 가상 머신(VM) 인스턴스를 관리할 수 있는 권한을 부여하면 사용자는 각 VM에 설정한 정책에 관계없이 해당 프로젝트에서 모든 Compute Engine VM을 관리할 수 있습니다.</blockquote><blockquote>여러 프로젝트에 걸쳐 있는 사용자 또는 그룹에 역할을 부여해야 하는 경우 프로젝트 수준이 아닌 폴더 수준에서 역할을 설정합니다.</blockquote><blockquote>정책이 규정을 준수하는지 감사합니다. <a href="https://cloud.google.com/logging/docs/audit">감사 로그</a>에 <em>setIamPolicy()</em> 호출이 모두 기록되므로 정책이 만들어지거나 수정된 시점을 추적할 수 있습니다.</blockquote><ul><li><a href="https://cloud.google.com/iam/docs/best-practices-for-using-and-managing-service-accounts">Best practices for using and managing service accounts | IAM Documentation | Google Cloud</a></li><li><a href="https://cloud.google.com/iam/docs">Identity and Access Management documentation | Cloud IAM Documentation</a></li></ul><h3>4. Billing</h3><p>위의 IAM과 대부분 연결되는 내용인데, IAM중에서도 Billing 관련 문제가 가끔씩 나오는 것 같습니다.</p><ul><li><a href="https://cloud.google.com/billing/docs/concepts#organization">Organization Node</a>를 사용하여 Google Cloud 리소스를 관리하고 Google Cloud 조직의 구성원인 경우, 새 Cloud Billing 계정을 만들려면 <a href="https://cloud.google.com/resource-manager/docs/default-access-control">결제 계정 생성자</a>여야 합니다.<br>특히 조직 내에서 Google Cloud 사용자이고 이 작업을 수행하려면 다음 <a href="https://cloud.google.com/iam/docs/understanding-roles#billing-roles">권한</a>이 있어야 합니다: billing.accounts.create</li></ul><pre>{<br>  &quot;bindings&quot;: [<br>    {<br>      &quot;role&quot;: &quot;roles/billing.admin&quot;,<br>      &quot;members&quot;: [<br>        &quot;group:finance-admins-group@example.com&quot;<br>      ]<br>    },<br>    {<br>      &quot;role&quot;: &quot;roles/billing.viewer&quot;,<br>      &quot;members&quot;: [<br>        &quot;group:developers@example.com&quot;<br>      ]<br>    }<br>  ],<br>  &quot;etag&quot;: &quot;BwUjMhCsNvY=&quot;,<br>  &quot;version&quot;: 1<br>}</pre><ul><li>billing.admin 역할은 IT 부서에 프로젝트를 결제 계정에 연결하고, 프로젝트 결제를 중지하고, 고객에게 재판매하는 계정의 신용카드 정보를 볼 수 있는 권한을 부여합니다.<br>프로젝트 콘텐츠를 볼 수 있는 권한을 부여하지 않습니다.</li><li>결제 계정 사용자 역할은 서비스 계정에 결제(프로젝트를 조직의 모든 프로젝트의 조직의 결제 계정과 연결)를 사용 설정하여 서비스 계정에서 결제가 필요한 API를 사용 설정할 수 있는 권한을 부여합니다.</li><li>billing.viewer 역할을 통해 개발자가 결제 계정의 비용을 볼 수 있습니다.</li></ul><h3>5. CLIs</h3><h4>a. Cloud SDK</h4><p>gsutil, bq, kubectl을 포함한 명령줄 도구 모음이 Cloud SDK와 함께 패키지로 제공됩니다. gsutil 도구에서는 명령줄을 사용해 Cloud Storage 버킷과 객체를 관리할 수 있습니다. bq를 사용하면 명령줄을 통해 BigQuery에서 쿼리를 실행하고 데이터 세트, 테이블, 항목을 조작할 수 있습니다. kubectl에서는 명령줄을 사용해 Kubernetes 컨테이너 클러스터를 배포하고 관리할 수 있습니다.</p><h4>b. gcloud</h4><p>gcloud CLI는 인증, 로컬 구성, 개발자 워크플로, Google Cloud API와의 상호작용을 관리합니다. gcloud 명령줄 도구를 사용하면 Compute Engine VM 인스턴스 생성, Google Kubernetes Engine 클러스터 관리, 명령줄에서 또는 스크립트 및 기타 자동화에서 App Engine 애플리케이션 배포와 같은 일반적인 클라우드 작업을 쉽게 수행할 수 있습니다.</p><h4>c. gsutil</h4><p>gsutil은 명령줄에서 Cloud Storage에 액세스하는 데 사용할 수 있는 Python 애플리케이션입니다. gsutil로 다음과 같은 광범위한 버킷 및 객체 관리 작업을 수행할 수 있습니다.</p><ul><li>버킷 생성 및 삭제</li><li>객체 업로드, 다운로드, 삭제</li><li>버킷 및 객체 나열</li><li>객체 이동, 복사 및 이름 바꾸기</li><li>객체 및 버킷 ACL 수정</li></ul><p>gsutil은 HTTPS 및 전송 계층 보안(TLS)을 사용하여 업로드 및 다운로드를 포함한 모든 작업을 수행합니다.</p><h4>d. bq</h4><p>bq 도구를 사용하면 명령줄을 통해 BigQuery에서 쿼리를 실행하고 데이터 세트, 테이블, 항목을 조작할 수 있습니다.</p><h4>e. kubectl</h4><p>kubectl 도구는 Kubernetes 클러스터를 더 효과적으로 제어할 수 있는 명령어를 제공합니다. kubectl을 사용하면 애플리케이션 배포, 클러스터 리소스의 검사와 관리, 로그 보기를 포함하여 광범위한 작업을 수행할 수 있습니다.</p><p><a href="https://stackoverflow.com/questions/58673821/what-is-the-difference-between-gcloud-container-clusters-and-kubectl-command">What is the difference between &quot;gcloud container clusters&quot; and &quot;kubectl&quot; commands when using them to provision K8S cluster on GCP?</a></p><h3>6. GKE</h3><p>GCP 내의 단일 컴포넌트 중에는 GKE에 대한 질문이 상대적으로 많았던 것 같습니다.</p><ul><li><a href="https://www.coursera.org/learn/google-kubernetes-engine">Getting Started with Google Kubernetes Engine</a></li><li><a href="https://cloud.google.com/kubernetes-engine/docs/concepts/kubernetes-engine-overview">GKE overview | Google Kubernetes Engine (GKE) | Google Cloud</a></li></ul><p>혹시 시험 보시는 분들은 좋은 결과 있으시길 바라겠습니다!</p><h4>Disclaimer</h4><p>위 글의 내용은 개인적으로 ACE를 공부하면서 정리한 내용으로, Google의 공식 문서 및 의견과 다를 수 있습니다.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=8c9f6eb4c4c2" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>