<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by SangHyo Han on Medium]]></title>
        <description><![CDATA[Stories by SangHyo Han on Medium]]></description>
        <link>https://medium.com/@tkdgy0801?source=rss-45ed95f05115------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/0*CpwG1cNbSDw678SA.jpg</url>
            <title>Stories by SangHyo Han on Medium</title>
            <link>https://medium.com/@tkdgy0801?source=rss-45ed95f05115------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Sat, 21 Nov 2026 00:30:15 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@tkdgy0801/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Building an Integrated Logging system using Elasticsearch operator — Part 1]]></title>
            <link>https://medium.com/@tkdgy0801/building-an-integrated-logging-system-using-elasticsearch-operator-part-1-84896f335447?source=rss-45ed95f05115------2</link>
            <guid isPermaLink="false">https://medium.com/p/84896f335447</guid>
            <category><![CDATA[elasticsearch-operator]]></category>
            <category><![CDATA[eck]]></category>
            <category><![CDATA[kubernetes]]></category>
            <category><![CDATA[elasticsearch]]></category>
            <category><![CDATA[kubernetes-operator]]></category>
            <dc:creator><![CDATA[SangHyo Han]]></dc:creator>
            <pubDate>Sat, 11 Jun 2022 15:07:27 GMT</pubDate>
            <atom:updated>2022-06-11T15:07:27.215Z</atom:updated>
            <content:encoded><![CDATA[<h3>Building an Integrated Logging system using Elasticsearch Operator — Part 1</h3><blockquote>이번 블로그 글은 DOIK(Database Operator In Kubernetes study) 에서 작성하는 중간과제로, elasticsearch 를 Kubernetes 에서 운영하고 싶은 운영자들을 위해 elasticsearch operator소개와, 실제로 사내 운영 중인 elastic Stack에 대해 어떻게 운영하고 있는지에 대해 작성해 보려고 한다. 해당 글은 Elasticsearch + kubernetes에 대해 기본 개념이 있다고 가정하고, 설명을 진행할 예정이다.</blockquote><h3>개요</h3><p>현재 사내에서는 Fluentbit + fluentD + Opentelemetry + Elasticsearch 의 형태로 사내의 모든 kubernetes cluster 에서 운영하는 application 의 log 데이터와, Opentelemetry 를 통한 APM 데이터를 통합해서 모니터링하고 있다.</p><p>초기에는 <a href="https://cloud.google.com/products/operations?hl=ko">Stackdriver</a> 를 통해 사내의 모든 log 를 저장하고 있었으나, 규모가 점차 커저감에 따라 높은 Stackdriver 의 비용을 줄이고자 사내의 Logging system 을 elastic stack 으로 변경하는 작업을 진행하였다.</p><p>이 때 DevOps team 에서는 elasticsearch cluster 를사내에 운영하고 있는 kubernetes cluster 위에서 운영한다면 좀 더 쉽게 관리할 수 있을꺼라 판단 하여 여러 기간동안의 조사 끝에 elasticsearch 를 Operator 를 통해 운영을 시작하였다… (고난의 시작)</p><p>약 1년 반 동안 여러 다양한 시행착오를 거처, 현재 나름 elasticsearch cluster 를 안정적이게 운영 중이다.</p><p>현재 사내의 Elasticsearch Cluster 의 규모는 다음과 같다.</p><ul><li>3 Master Nodes</li><li>15~20 Data Nodes (i3en instances)</li><li>7 coordinator nodes</li><li>3 ingester Nodes</li><li>kibana &amp; apm server &amp; Metric beat 등등…</li></ul><p>현재 약 초당 300~400MB/s input , 60TB 의 로그 &amp; APM data 를 저장하고 있다.</p><p>해당 글에서는 사내 Logging Architecture 에 대해서 설명하지 않을 예정이다. Logging Architecture 에 대해 궁금한 점이 있으면, 예전에 다른 팀원분이 발표한 <a href="https://youtu.be/J_7bfACR3jo?t=1040">Fluent-bit Sidecar로 대량의 로그 처리하기</a> 영상을 참조하면 된다.</p><h4>Elasticsearch Operator 란?</h4><p>우선 Operator Pattern 에 대해서 이해를 하면 좋다.</p><ul><li>Operator 란 Kubernetes 애플리케이션을 패키징, 배포, 관리하는 방법론이다. (운영자 관점), 또한 Operator Pattern은 Kuberentes에서 Operator 방법론을 적용해서 확장하는 패턴이다. (확장 개발 관점)</li></ul><p>Operator 에 대한 자세한 내용은 <a href="https://kubernetes.io/ko/docs/concepts/extend-kubernetes/operator/">kubernetes blog</a> 를 참조하자.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/720/0*VurAcx4MRoo46l4F.png" /></figure><p>Elasticsearch Operator 는 한마디로 Elasticsearch 를 운영자들이 kubernetes 에서 잘 운영하기 위한 Pattern 을 제공해 주는 SDK 라고 볼 수 있다.</p><p>Elasticsearch Operator 를 이용하여 Kubernetes 에 Elasticsearch Stack 을 운용한다면, 많은 이점을 얻을 수 있다.</p><ul><li>복잡한 Elasticsearch Cluster Provisioning 을 CRD yaml file 형식으로 간단하게 배포할 수 있도록 해준다.</li><li>elasticsearch cluster 외에, kibana, APM, metricbeat, fleet-server 등 다양한 elasticsearch Stack 들을 손쉽게 통합하여 배포할 수 있도록 해준다.</li><li>Upgrade 나 maintance 작업 때 손쉽게 대처할 수 있다. elasticsearch operator 를 이용하면, 매우 손쉽게elasticsearch version upgrade 및 Elasticsearch Data Node 교체 작업을 진행할 수 있다.</li><li>Operator 는 Elasticsearch License 를 사용하기 때문에, 모든 source code 가 <a href="https://github.com/elastic/cloud-on-k8s">github repo</a> 에 공개되어 있다.</li><li>Elasticsearch Operator 의 기능상의 제약은 전혀 없으며,(많은 database vendor 가 OSS, enterprise 별로 Operator 의 기능을 분리해 두고, 운영자에게 enterprise 를 사라고 강요하게 만든다 ㅠ) Elastic license 별 기능상의 제약만 있다. (ex) apm 의 service map, enterprise search 등등..)</li><li>Elasticsearch Operator 에 대해 좀 더 자세하게 알고 싶으면 해당 <a href="https://github.com/elastic/cloud-on-k8s">github repo</a> 및 <a href="https://www.elastic.co/guide/en/cloud-on-k8s/current/k8s-quickstart.html">Elastic Cloud On kubernetes (ECK)</a> 공식 문서를 참조하면 된다.</li></ul><h3>How to Install Elasticsearch with ECK operator</h3><h4>Install Elastic Operator</h4><p>현재 사내에서는 각종 operator 를 설치 시 , helm chart 를 사용하지 않는다.</p><p>이유는 helm chart 를 사용하여 설치하면 더 편리하지만, 대부분의 value 들이 기본으로 들어가서 설치되기 때문에, 어떤 값이 실제로 해당 manifest 에 들어가는지 알기가 힘들다.</p><p>따라서 해당 Operator repo 에 직접 가서, helm chart 를 raw manifest 로 rendering 한 다음에, 어떤 value 들이 있는지 직접 확인한 후에 설치하는 편이다. (물론 helm chart 를 사용하여 설치하여도 된다)</p><p>우선 <a href="https://github.com/elastic/cloud-on-k8s.git">Elasticsearch github repo</a> 를 clone 한다. 이후 operator helm chart 가 있는 path 로 이동한다.</p><pre>git clone <a href="https://github.com/elastic/cloud-on-k8s.git">https://github.com/elastic/cloud-on-k8s.git</a><br>cd /deploy/eck-operator</pre><p>helm template 명령어로 rendering 한다.</p><pre>helm template . --name-template=’eck’ — values values.yaml &gt; all.yaml</pre><p>이후 rendering 된 value 들을 확인한 후에, 현재 kubernetes 운영 환경에 맞게 파일을 수정한다.</p><ul><li>우리의 경우, 간단하게 nodeselector &amp; toleration 및 resource 값을 지정한 후에 rendering 진행하였다. 이 외에, container registry 등 다양한 값을 수정할 수 있으니, 해당 <a href="https://github.com/elastic/cloud-on-k8s/blob/main/deploy/eck-operator/values.yaml">values.yaml</a> 을 참조하면 좋다.</li></ul><p>rendering 된 value 는 elastic Stack CRD, operator 동작을 위한 webhook , Clusterrole 등이 포함된다.</p><ul><li>만약 upgrade 를 하는 경우, Release note 를 잘 확인하고 CRD 의 변경점이 어떤 것이 있는지 확인한 후에 apply 를 하는 것이 좋다. 이 경우, CRD 의 변경점으로 인해 Elasticsearch Cluster 가 rolling 될 수 있으니, 잘 확인하고 CRD 를 Patch 하자.</li><li>만약 Upgrade 시 Resource 를 제외하고 싶으면, ECK Upgrade 문서대로 annotation 을 달아서 reconsile 이 되지 않도록 설정하면 된다.</li></ul><pre>ANNOTATION=&#39;eck.k8s.elastic.co/managed=false&#39; <br><br># Exclude a single Elasticsearch resource named &quot;quickstart&quot;<br>kubectl annotate --overwrite elasticsearch quickstart $ANNOTATION<br><br># Exclude all resources in the current namespace<br>kubectl annotate --overwrite elastic --all $ANNOTATION</pre><p>Resource 를 apply 한 후에, CRD, Operator, Role 등이 잘 생성되는 것을 확인한다.</p><h4>Before Install Elasticsearch Cluster</h4><p>Elasticsearch Operator 가 설치되었으면, Elasticsearch Cluster 를 설치할 차례이다.</p><p>현재 사내에서는 Elasticsearch Cluster 의 Data Node 를 AWS 의 I3en type instance (local nvme ssd type)를 이용하여 운영 중이다.</p><p>elasticsearch 는 data 를 저장 시 매우 write-intensive 하기 때문에, disk 속도가 매우 중요하다. elastic 에서도 elasticsearch 를 설치할 때 빠른 SSD type 을 사용하는 것이 속도를 가장 극대화 할 수 있다고 말한다.</p><p>실제로 elastic 사에서 cloud 형태로 제공할 때, local nvme ssd type instance 를 data node 로 제공하고 있다.</p><ul><li>관련 자료 : <a href="https://www.elastic.co/guide/en/cloud/current/ec-default-aws-configurations.html">https://www.elastic.co/guide/en/cloud/current/ec-default-aws-configurations.html</a></li><li><a href="https://www.cncf.io/blog/2021/03/25/how-to-build-an-elastic-search-cluster-for-production/">https://www.cncf.io/blog/2021/03/25/how-to-build-an-elastic-search-cluster-for-production/</a></li></ul><p>따라서 AWS 에서 제공하는 Local SSD Type instance 을 통해서 Provisioning 하기 위해, kubernetes cluster 에 elasticsearch 전용 Nodegroup 을 설정하여 Data Node 를 설정한다. AWS 에서 제공하는 local NVME instance type 들의 목록은 해당 <a href="https://aws.amazon.com/ko/ec2/instance-types/">자료</a>를 참조하면 좋다.</p><ul><li>현재 사내에서는 kubernetes cluster provisioning 을 terraform + helm chart 로 배포하고 있다. 자세한 내용은 관련된 <a href="https://wonderwal1.notion.site/EKS-Cluster-Upgrade-with-terraform-dfe2281e6e97446cb4c45f7cad2e5a42">블로그 글</a>을 참조하면 좋다.</li></ul><p>i3en Node 를 사용하기 위해 간단한 사전작업 이 필요한데, 이는 instance init 시 동작하는 userdata 를 통해 수행된다.</p><pre>mkfs -t xfs /dev/nvme1n1<br>mkdir /data<br>mount /dev/nvme1n1 /data</pre><ul><li>elasticsearch <a href="https://alexander.holbreich.org/elasticsearch-configuration/">xfs vs ext4</a> 관련 자료</li></ul><p>해당 작업이 끝나면, data node 만 i3en type 으로 사용할 수 있도록 toleration &amp; node selector 를 붙인다.</p><h4>Install Elasticsearch Cluster</h4><p>Elasticsearch 를 설치하기 전에, elasticsearch 에서 제공하는 Node 의 종류와, Spec 을 어떻게 할 것인지에 대해서 정해야 한다.</p><p>현재 사내 elasticsearch 에서 사용하는 Node type 들은 다음과 같다.</p><ul><li>master</li><li>data</li><li>coordinator</li><li>ingest</li></ul><p>각 노드의 역할은 해당 <a href="https://wedul.site/622">문서</a> 에 잘 설명되어 있다.</p><p>data 양에 따라 각 es node 의 spec 을 정했으면, elasticsearch CRD yaml file 을 작성한다.</p><p>ES CRD 는 Nodeset 이라는 것을 통해, 각 노드를 용도에 맞게 분리하여 사용할 수 있도록 설정이 되어 있다.</p><p>이 Nodeset 이라는 객체 덕분에, 다양한 Node Operation 을 손쉽게 할 수 있다.</p><ul><li><a href="https://www.elastic.co/guide/en/cloud-on-k8s/current/k8s-orchestration.html">Nodes Orchestration</a></li><li><a href="https://www.elastic.co/guide/en/cloud-on-k8s/current/k8s-advanced-node-scheduling.html#k8s-advanced-node-scheduling">advanced node scheduling</a></li></ul><p>examples.yaml</p><pre>apiVersion: elasticsearch.k8s.elastic.co/v1<br>kind: Elasticsearch<br>metadata:<br>  name: elasticsearch<br>  namespace: elastic-system<br>spec:<br>  version: {version}<br>  http:<br>    tls:<br>      selfSignedCertificate:<br>        subjectAltNames:<br>          - dns: custom-domain.com &lt;-----------------------    (1)<br>  nodeSets:     <br>  - name: master<br>    count: 3<br>    volumeClaimTemplates:<br>    - metadata:<br>        name: elasticsearch-data<br>      spec:<br>        accessModes:<br>          - ReadWriteOnce<br>        resources:<br>          requests:<br>            storage: 30Gi<br>        storageClassName: gp3<br>    config:<br>      node.attr.role: master     &lt;-----------------------    (2)<br>      index.store.type: hybridfs<br>      node.master: true<br>      node.data: false<br>      node.ingest: false<br>      node.ml: false<br>      indices.breaker.total.use_real_memory: true<br>      node.attr.zone: ${AWS_AVAILABLE_ZONE}<br>      http.max_content_length: 400mb<br>      cluster.routing.allocation.awareness.attributes: zone,k8s_node_name<br>      cluster.routing.allocation.awareness.force.zone.values: az-a,az-b          &lt;------------------------------------------ (3)<br>    podTemplate:<br>      metadata:<br>        labels:<br>          app: master<br>          scrape: es<br>          app.kubernetes.io/name: &#39;master-nodes&#39;<em><br>      </em>spec:<br>        initContainers:<br>        - name: init<br>          securityContext:<br>            privileged: true<br>          command:<br>            - sh<br>            - -c<br>            - |<br><br>              echo &quot;Set vm.max_map_count&quot; <br>              sysctl -w vm.max_map_count=262144 ---------------- (3)<br><br>              echo &quot;Install repository-s3 plugin&quot; ------------ (3-1)<br>              bin/elasticsearch-plugin remove --batch repository-s3<br>              bin/elasticsearch-plugin install --batch repository-s3<br>        containers:<br>        - name: elasticsearch<br>          command:<br>            - /bin/sh<br>            - -c<br>            - |<br>              export AWS_AVAILABLE_ZONE=$(curl http://instance-data/latest/meta-data/placement/availability-zone)<br>          env:<br>          - name: ES_JAVA_OPTS<br>            value: -Xms7g -Xmx7g -XX:+UseG1GC -XX:MaxGCPauseMillis=150 -Dlog4j.formatMsgNoLookups=true<br>          resources:<br>            requests:<br>              memory: 10Gi<br>              cpu: 4<br>            limits:<br>              memory: 10Gi<br>              cpu: 4<br><br>  - name: data-i3en-aza<br>    count: 3<br>    config:<br>      node.attr.role: data  ------------------------------- (5)<br>      index.store.type: hybridfs<br>      node.master: false<br>      node.data: true<br>      node.ingest: false<br>      node.ml: false<br>      node.attr.zone: ${AWS_AVAILABLE_ZONE} --------------- (6)<br>      path.data: /data               ---------------------- (7)<br>    podTemplate:<br>      metadata:<br>        labels:<br>          app: data<br>          scrape: es<em><br>      </em>spec:<br>        initContainers:<br>          - name: init<br>            securityContext:<br>              privileged: true<br>            command:<br>              - sh<br>              - -c<br>              - |<br>                chown -v elasticsearch:elasticsearch /data ---(8)<br><br>                echo &quot;Set vm.max_map_count&quot;<br>                sysctl -w vm.max_map_count=262144<br><br>                echo &quot;Install repository-s3 plugin&quot;<br>                bin/elasticsearch-plugin remove --batch repository-s3<br>                bin/elasticsearch-plugin install --batch repository-s3<br>        containers:<br>          - name: elasticsearch<br>            command:<br>              - /bin/sh<br>              - -c<br>              - |<br>                export AWS_AVAILABLE_ZONE=$(curl http://instance-data/latest/meta-data/placement/availability-zone)<br>            volumeMounts:<br>              - mountPath: /data     ----------------------- (9)<br>                name: elasticsearch-data<br>            env:<br>              - name: ES_JAVA_OPTS<br>                value: -Xms31g -Xmx31g -XX:+UseG1GC -XX:MaxGCPauseMillis=150 -Dlog4j.formatMsgNoLookups=true  ---- (9-1)<br>            resources:<br>              requests:<br>                memory: 70Gi<br>                cpu: 11<br>              limits:<br>                memory: 70Gi<br>                cpu: 11<br>        nodeSelector:<br>          instance-type: i3en.3xlarge<br>          topology.kubernetes.io/zone: az-a<br>          eks-version: &quot;1.20&quot;<br>        volumes:<br>          - name: elasticsearch-data<br>            hostPath:<br>              path: /data            ----------------------- (10)<br>        affinity:<br>          podAntiAffinity:<br>            preferredDuringSchedulingIgnoredDuringExecution:<br>              - weight: 100<br>                podAffinityTerm:<br>                  labelSelector:<br>                    matchExpressions:<br>                      - key: app<br>                        operator: In<br>                        values:<br>                          - data<br>                  topologyKey: &quot;kubernetes.io/hostname&quot;<br><br> - name: data-i3en-azb  위의 data node aza 랑 설정 동일      ------ (11)<br> - name: ingest<br>    count: 1<br>    config:<br>      node.attr.role: ingest            ----------------------- (12)<br>      index.store.type: hybridfs<br>      node.master: false<br>      node.data: false<br>      node.ingest: true<br>      node.ml: false<br>      node.attr.zone: ${AWS_AVAILABLE_ZONE}<br>      http.max_content_length: 400mb<br>      indices.breaker.total.use_real_memory: true<br>    podTemplate:<br>      metadata:<br>        labels:<br>          app: ingest<br>          scrape: es<br>          app.kubernetes.io/name: &#39;ingest&#39;<br>      spec:<br>        initContainers: ~ 위랑 동일<br>        containers: <br>          - name: elasticsearch<br>            command:<br>              - /bin/sh<br>              - -c<br>              - |<br>                export AWS_AVAILABLE_ZONE=$(curl http://instance-data/latest/meta-data/placement/availability-zone)<br>              - name: ES_JAVA_OPTS<br>                value: -Xms1g -Xmx1g -XX:+UseG1GC -XX:MaxGCPauseMillis=150 -Dlog4j.formatMsgNoLookups=true<br>            resources:<br>              requests:<br>                memory: 2Gi<br>                cpu: 2<br>              limits:<br>                memory: 2Gi<br>                cpu: 2<br><br>  - name: coordinator<br>    count: 4<br>    volumeClaimTemplates:<br>      - metadata:<br>          name: elasticsearch-data<br>        spec:<br>          accessModes:<br>            - ReadWriteOnce<br>          resources:<br>            requests:<br>              storage: 30Gi<br>          storageClassName: gp3<br>    config:<br>      node.attr.role: coordinator    ----------------------- (13)<br>      index.store.type: hybridfs<br>      node.master: false<br>      node.data: false<br>      node.ingest: false<br>      node.ml: false<br>      node.attr.zone: ${AWS_AVAILABLE_ZONE}<br>      indices.breaker.total.use_real_memory: true<br>    podTemplate:<br>      metadata:<br>        labels:<br>          app: coordinator<br>          scrape: es<br>          app.kubernetes.io/name: &#39;coordinator&#39;<br>      spec:<br>        initContainers: ~ 위랑 동일<br>        containers:<br>          - name: elasticsearch<br>            securityContext:<br>              privileged: true<br>            command:<br>              - /bin/sh<br>              - -c<br>              - |<br>                export AWS_AVAILABLE_ZONE=$(curl http://instance-data/latest/meta-data/placement/availability-zone)<br><br>            env:<br>              - name: ES_JAVA_OPTS<br>                value: -Xms5g -Xmx5g -XX:+UseG1GC -XX:MaxGCPauseMillis=150 -Dlog4j.formatMsgNoLookups=true<br>            resources:<br>              requests:<br>                memory: 8Gi<br>                cpu: 4<br>              limits:<br>                memory: 8Gi<br>                cpu: 4<br><br>---<br>apiVersion: v1<br>kind: Service                        ----------------------- (14)<br>metadata:<br>  name: es-client<br>  namespace: elastic-system<br>spec:<br>  ports:<br>    - port: 9200<br>      name: https-client<br>  selector:<br>    app: coordinator</pre><ul><li>(1) : <a href="https://www.elastic.co/guide/en/cloud-on-k8s/master/k8s-tls-certificates.html#k8s-static-ip-custom-domain">https://www.elastic.co/guide/en/cloud-on-k8s/master/k8s-tls-certificates.html#k8s-static-ip-custom-domain</a> 를 사용하기 위한 설정</li><li>(2): <a href="https://www.elastic.co/guide/en/elasticsearch/reference/current/index-modules-store.html">https://www.elastic.co/guide/en/elasticsearch/reference/current/index-modules-store.html</a> index 저장 방식</li><li>(3),(3–1): elasticsearch node zone awareness 설정 및 ES Data Node backup 을 위한 S3 Plugin 을 설치한다.</li><li>(4): elasticsearch vm.mmap_count 설정, initcontainer 를 이용하여 설정한다. <a href="https://www.elastic.co/guide/en/elasticsearch/reference/current/vm-max-map-count.html">관련 자료</a> 참고로 kubernetes sysctl 로 설정이 되지 않는다.</li><li>(5): data node 설정, node.data true 로 설정한다.</li><li>(6): Node zone 설정, node zone awareness 설정에서 자기의 AZ 를 init container 를 통해 알아낸다.</li><li>(7) : 아까 i3en node 에 만들어놓았던 path 를 elasticsearch data node 의 경로로 설정한다.</li><li>(8): initcontainer 에서 elasticsearch 가 정상적으로 data 를 쓸 수 있도록 권한을 설정한다.</li><li>(9) : i3en node 를 bootstrap 할 때 정한 Path 를 hostpath 로 mount 하여 사용한다. 추가적으로,</li><li>(9–1) JVM Memory 를 32GB 가 넘지 않도록 설정한다. <a href="https://icarus8050.tistory.com/53">관련 자료</a> 그리고 file system cache 에 사용되는 system memory 를 일정량 할당해야 한다. <a href="https://opster.com/guides/elasticsearch/capacity-planning/elasticsearch-memory-usage/">관련 자료</a></li><li>(10) Pod affinity 설정을 통해 한 VM 당 Data node 가 하나만 뜨도록 설정한다.</li><li>(11) : data node nodeset 을 AZ 마다 하나씩 생성한다. 이유는 Node Drain &amp; 교체 작업 때 AZ 가 분리되어 있으면 편리하기 때문이다. 자세한 설명은 다음 문단에서 설명한다.</li><li>(12) : ingest node 를 설정한다. ingest node 는 현재 크게 쓰지 않기 때문에, 작은 spec 을 사용했다.</li><li>(13): coordinating node 를 설정한다. Coordinating Node 는 Data 가 들어오는 진입점이기 때문에, 모니터링 후 어느정도 적당하게 큰 사이즈의 Spec 을 할당한다.</li><li>(14): coordinating node 로 진입할 수 있도록 k8s service 를 설정한다.</li></ul><p>이렇게 Elasticsearch Cluster 를 배포하면, 관련된 component 들이 전부 provisioning 된다. 이후, kibana 를 setting 하여 UI 상으로 로그를 볼 수 있도록 설정한다.</p><h4>Kibana &amp; 기타 component 설치하기</h4><p>Elasticsearch Cluster 를 설치한 후에, Kibana CRD 를 작성하여 Kibana 를 배포한다. Kibana 설정은 다음과 같으며, 좀 더 자세한 자료를 얻고 싶으면 , 해당 <a href="https://www.elastic.co/guide/en/cloud-on-k8s/current/k8s-kibana.html">문서</a> 를 참조하면 된다.</p><p>examples.yaml</p><pre>apiVersion: kibana.k8s.elastic.co/v1<br>kind: Kibana<br>metadata:<br>  name: kibana<br>  namespace: elastic-system<br>spec:<br>  version: {version}<br>  count: 3<br>  config:<br>    elasticsearch.shardTimeout: 60000 # 검색 시 shard timeout 설정<br>    elasticsearch.requestTimeout: 60000 # request timeout 설정<br>    server.maxPayloadBytes: 5242880<br>    server.publicBaseUrl: &#39;https://base-url.com&#39; # 외부에서 접근할 URL<br>  elasticsearchRef:<br>    name: elasticsearch &lt;---------------------------------- (1)        <br>  http:<br>    tls:<br>      selfSignedCertificate:<br>        disabled: true    &lt;---------------------------------- (2)<br>  podTemplate:<br>    metadata:<em><br>      </em>labels:<br>        app: kibana<br>        scrape: kb<br>    spec:<br>      containers:<br>      - name: kibana<br>        resources:<br>          requests:<br>            memory: 1Gi<br>            cpu: 1<br>          limits:<br>            memory: 8Gi<br>            cpu: 2</pre><ul><li>(1) : 위에 설정한 ES cluster 이름을 여기에 적는다.</li><li>(2) : TLS 관련 옵션 , <a href="https://www.elastic.co/guide/en/cloud-on-k8s/current/k8s-kibana-http-configuration.html#k8s-kibana-http-publish">관련 문서</a></li></ul><p>이 외에도 필요하다면 APM-server, Elastic-fleet, Metricbeat, Elastic Maps server 등 다양한 component 들을 Elasticsearch CRD 를 통해 간단하게 설정할 수 있다.</p><ul><li><a href="https://www.elastic.co/guide/en/cloud-on-k8s/current/k8s-orchestrating-elastic-stack-applications.html">관련 문서</a>를 참조하면 다른 component 들은 어떻게 띄우는지 문서가 아주 상세하게 잘 나와 있다.</li></ul><h3>Managing ElasticSearch Cluster With Operator</h3><p>이렇게 Elasticsearch Cluster 를 열시미 잘 띄우고, Log 들도 잘 들어오는 것도 확인하면서 잘 운영하고 있었다.</p><p>하지만 Elasticsearch cluster 가 떠 있는 kubernetes Cluster 의 control plane 업그레이드 작업이나, Data Node 의 maintance 가 걸리는 일이 생길 경우 매우 피곤해 진다.</p><p>만약 Elasticserach Cluster 의 Data 를 EBS 같은 Network volume 으로 설정하였으면 Node rolling 시 문제가 발생하지 않지만, 우리가 사용하고 있는 i3en type Data 노드는 EBS 와 다르다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/714/1*8Un-0FJ8geMZD0m1UPdnCA@2x.png" /><figcaption>i3en type instance 는 인스턴스가 종료되면 모든 Data 가 유실된다.</figcaption></figure><p>Local SSD instance type 은 매우 빠른 SSD 성능을 지원하지만, Instance 가 종료될 때 모든 Data 가 유실된다. 따라서, Operator 의 도움 없이 운영한다고 하면, Elasticsearch 의 Data (shard )를 전부 Migration 한 후에, 새로운 Data Node 로 옮겨야 하는 작업을 수행해야 한다.</p><p>Operator 를 사용하지 않고, kubernetes statefulset 으로 운영할 때의 Data Migration 절차는 다음과 같다.</p><ol><li>새로운 i3en Node 를 Provisioning</li><li>Migration 하려는 Node 의 ID 나, IP 를 확인</li><li>cluster setting API 를 통해 Migration 하려는 Node 에 shard allocation block 설정 (해당 Node 의 모든 index 를 다른 Node 로 옮기는 설정)</li><li>index 가 빠지는 것을 확인하고, 현재 Migration 하는 K8s worker Node 에 cordon 을 걸어서 해당 data node 가 다시 안뜨도록 설정</li><li>data node 를 terminate 하여 Data node 가 새로운 i3en node 로 잘 할당되게 함</li><li>data node 가 잘 뜬 후, Shard allocation Block 을 풀어서 새로 뜬 data node 가 index 를 다시 분배받을 수 있도록 설정</li></ol><p>노드를 하나만 변경해야 한다면 문제가 없지만, k8s version 이 올라가 AMI 를 변경해야 한다면, Elasticsearch cluster 의 전체 Node 를 해당 방식 대로 N 번 반복해야 한다. 매우 오래 걸리고, 실수할 가능성이 높으며, 끔찍하게 귀찮다.</p><p>하지만 elastic Operator 를 사용하면 해당 Pattern 을 유지하지 않고, 새로운 Node 로 Migration 을 매우 쉽게 할 수 있다. (사실 처음에는 이 기능이 있는 지 몰라서 Operator 를 사용하고 있음에도 불구하고 저런 방식으로 진행했었다… ㅠ)</p><h4>Migrating ElasticSearch Data Node with Elastic Operator</h4><p>Elasticsearch Data Node 는 ECK Operator 의 Nodeset Pattern 을 통해 매우 간단하게 Migration 을 할 수 있다. <a href="https://www.elastic.co/guide/en/cloud-on-k8s/current/k8s-orchestration.html#k8s-upgrade-patterns">관련 자료</a></p><p>Elasticsearch Nodeset 은 Update 에 따라 다양한 동작을 하는데, Node 가 추가되거나 없어지는 동작을 Operator 가 Elasticsearch API 를 통해 이를 control 한다.</p><p>새로운 Nodeset 이 Elasticsearch Cluster 에 등록되었을 경우</p><ul><li>새로운 STS 를 생성하고, configuration 에 등록</li><li>위의 예시로 들면, master, data-i3en-aza, data-i3en-azb, ingest,coordinator 의 이름을 가진 sts 가 별개로 생성 된다.</li><li>만약 새로운 data node nodeset 이 추가되었으면, Shard 를 적절하게 분배시켜 준다.</li></ul><p>기존에 있던 Nodeset 을 삭제할 경우</p><ul><li>Statefulset 을 삭제하기 전에, 만약 Data node 인 경우, 모든 shard 를 다른 Node 에 재분배 한 후, Shard 가 없는 것을 확인하고 sts 를 삭제한다.</li></ul><p>기존에 있던 Nodeset 이름을 변경할 경우</p><ul><li>변경된 이름으로 새로운 sts 를 띄우고, Data 를 새로운 Node sts로 Migration 한 후에, 기존 이름의 sts 를 종료시킨다. 이 때, Data Node 의 갯수가 일시적으로 2배 Provisioning 될 수 있다.</li></ul><p>이러한 Elasticsearch Operator 의 Operation 덕분에, Data Node 를 Persistant 하지 않는 VM 을 사용하더라도 Elasticsearch 의 Node 를 교체하는 작업이 매우 간단해진다.</p><p>간단한 EKS version Upgrade 시나리오를 통해 ES Node 교체 작업이 어떻게 수행되는 지 알아보자.</p><p>이렇게 2개의 Nodeset 은 data node 이며, i3en type 을 사용하고 있다. eks AMI version 은 1.20 이며, EKS control plane 이 1.21 으로 upgrade 됨에 따라, Data Node 도 1.21 version 을 사용하는 AMI 로 교체되어야 하기 때문에, Node 를 전부 다른 instance 로 교체해야 한다.</p><pre><br>- name: data-i3en-aza-120<br>    count: 3<br>    config:<br>      node.attr.role: data  <br>      index.store.type: hybridfs<br>      node.master: false<br>      node.data: true<br>      node.ingest: false<br>      node.ml: false<br>  nodeSelector:<br>    node.com/eks-version: 1.20<br>    node.com/node-type: i3en.3xlarge</pre><pre>- name: data-i3en-azb-120<br>    count: 3<br>    config:<br>      node.attr.role: data  <br>      index.store.type: hybridfs<br>      node.master: false<br>      node.data: true<br>      node.ingest: false<br>      node.ml: false<br>  nodeSelector:<br>    node.com/eks-version: 1.20<br>    node.com/node-type: i3en.3xlarge</pre><p>먼저 새로운 1.21 version 의 i3en type worker node 를 Provisioning 한다. 이때, ES version 을 nodeselector, taint에 명시하여 잘못 할당되는것을 방지해 준다.</p><p>worker node 가 ready 가 되면, 새로운 Nodeset 을 nodeselector , 이름만 version 명을 붙여서 추가한다. (아무 이름이나 상관 없음, 기존 Nodeset 이랑 다르기만 하면 됨)</p><pre>- name: data-i3en-aza-120<br>    count: 3<br>    config:<br>      node.attr.role: data  <br>      index.store.type: hybridfs<br>      node.master: false<br>      node.data: true<br>      node.ingest: false<br>      node.ml: false<br>  nodeSelector:<br>    node.com/eks-version: 1.20<br>    node.com/node-type: i3en.3xlarge</pre><pre>- name: data-i3en-azb-120<br>    count: 3<br>    config:<br>      node.attr.role: data  <br>      index.store.type: hybridfs<br>      node.master: false<br>      node.data: true<br>      node.ingest: false<br>      node.ml: false<br>  nodeSelector:<br>    node.com/eks-version: 1.20<br>    node.com/node-type: i3en.3xlarge</pre><pre>- name: data-i3en-aza-121<br>    count: 3<br>    config:<br>      node.attr.role: data<br>      index.store.type: hybridfs<br>      node.master: false<br>      node.data: true<br>      node.ingest: false<br>      node.ml: false<br>  nodeSelector:<br>    node.com/eks-version: 1.21<br>    node.com/node-type: i3en.3xlarge</pre><pre>- name: data-i3en-azb-121<br>    count: 3<br>    config:<br>      node.attr.role: data  <br>      index.store.type: hybridfs<br>      node.master: false<br>      node.data: true<br>      node.ingest: false<br>      node.ml: false<br>  nodeSelector:<br>    node.com/eks-version: 1.21<br>    node.com/node-type: i3en.3xlarge</pre><p>이렇게 설정하고 ES CRD 를 apply 하면, 새로운 STS 가 생성되어 Shard 를 새로운 Node 에 분배하는 과정을 거친다.</p><p>Monitoring &amp; API 을 통해 shard 가 새로운 Node 에 고르게 잘 할당 되었다는 것을 확인하면, 기존 Nodeset 을 지우는 작업을 수행하고 ES CRD 를 apply한다.</p><pre>- name: data-i3en-aza-121<br>    count: 3<br>    config:<br>      node.attr.role: data<br>      index.store.type: hybridfs<br>      node.master: false<br>      node.data: true<br>      node.ingest: false<br>      node.ml: false<br>  nodeSelector:<br>    node.com/eks-version: 1.21<br>    node.com/node-type: i3en.3xlarge</pre><pre>- name: data-i3en-azb-121<br>    count: 3<br>    config:<br>      node.attr.role: data  <br>      index.store.type: hybridfs<br>      node.master: false<br>      node.data: true<br>      node.ingest: false<br>      node.ml: false<br>  nodeSelector:<br>    node.com/eks-version: 1.21<br>    node.com/node-type: i3en.3xlarge</pre><p>기존 Nodeset sts 를 지우기 전에, Operator 에서 API 를 통해 data Node 의 shard 를 전부 다른 Node 로 옮기는 작업을 수행하며, Node 의 shard 가 전부 옮겨간 것을 operator 에서 확인 후에 기존 nodeset sts을 삭제한다.</p><p>이렇게 Operator 를 이용하면, 기존에 statefulset 을 이용한 Node Drain &amp; migration Operation 을 단 yaml apply 3번으로 끝낼 수 있게 된다.</p><p>여기까지 Elasticsearch Operator 가 무엇인지, 어떻게 관련 component 들을 설치하는지, 어떻게 Operator 를 통해 Node 를 쉽게 Migration 할 수 있는지 매우 자세하게 알아보았다.</p><p>다음 Part 2 는</p><ul><li>ECK Cluster Monitoring</li><li>Logging 용 Elasticsearch Cluster Index Template 정책</li><li>Elasticsearch APM &amp; Opentelemetry이란?</li><li>Elasticsearch Logs &amp; Opentelemetry Apm Data correlation</li></ul><p>에 대해서 작성해 보려고 한다.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=84896f335447" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Prometheus-Cortex Deep dive — Part 2]]></title>
            <link>https://medium.com/@tkdgy0801/prometheus-cortex-deep-dive-part-2-7544da526317?source=rss-45ed95f05115------2</link>
            <guid isPermaLink="false">https://medium.com/p/7544da526317</guid>
            <category><![CDATA[cortex]]></category>
            <category><![CDATA[kubernetes]]></category>
            <category><![CDATA[prometheus]]></category>
            <category><![CDATA[operations]]></category>
            <category><![CDATA[monitoring]]></category>
            <dc:creator><![CDATA[SangHyo Han]]></dc:creator>
            <pubDate>Sat, 12 Mar 2022 15:47:54 GMT</pubDate>
            <atom:updated>2022-04-18T09:19:32.868Z</atom:updated>
            <content:encoded><![CDATA[<h3>Prometheus-Cortex Deep dive — Part 2</h3><blockquote><em>이번 블로그 글은 KANS(kubernetes Advanced Networking Study) 에서 작성하는 졸업 과제로, 확장성 있는 Prometheus Monitoring 에 대해서 고민하고 있는 Kubernetes운영자들을 위해 Cortex Architecture 세부 소개와, 실제로 사내 운영 중인 Cortex 에 대해 어떻게 운영하고 있는지에 대해 작성해 보려고 한다.</em></blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*D3M1FQGndLZWeCsf26SCPg.png" /></figure><h3>개요</h3><p><a href="https://medium.com/@tkdgy0801/prometheus-cortex-deep-dive-part-1-28a9df2920f4">Prometheus-Cortex Deep dive — Part 1</a> 에서는 Cortex 가 어떤 역할을 하는지, 세부 Architecture 에 대해 자세하게 알아보았다. 이번 Part 2 에서는 , Cortex 설치 및 monitoring , 그리고 운영하면서 겪은 다양한 팁들을 작성해 보려고 한다.</p><h3>How to install Cortex</h3><p>Cortex 설치 시 Cortex 에서 제공하는 공식 helm chart 를 이용하여 설치한다.</p><ul><li><a href="https://github.com/cortexproject/cortex-helm-chart">https://github.com/cortexproject/cortex-helm-chart</a></li></ul><p>Cortex helm chart 로 설치 시, 다양한 Component 들이 같이 설치되는데, 사실 설치하는것은 각 쿠버네티스 환경마다 다 다르기 때문에 그중 중요한 ingester, distributer 의 manifest 만 간단하게 적어보려고 한다.</p><ul><li>사실 deployment value 는 크게 중요하지 않으며, Cortex 설정이 들어간 config yaml 이 가장 중요하다.</li></ul><p>Remote Prometheus 설정 같은 경우, remote_write 설정으로 Cortex distributer endpoint 를 지정하면 알아서 Cortex 에 write 된다.</p><pre># example prometheus.yaml <br>remote_write:   <br>  url: <a href="http://cortex.cortex/api/prom/push">http://cortex.cortex/api/prom/push</a><br></pre><h4>Distributer Example Config</h4><pre>apiVersion: apps/v1<br>kind: Deployment<br>metadata:<br>  name: cortex-distributor<br>  namespace: monitoring<br>spec:<br>  replicas: 2<br>  strategy:<br>    type: RollingUpdate<br>    rollingUpdate:<br>      maxSurge: 0<br>      maxUnavailable: 1<br>  selector:<br>    matchLabels:<br>      app: cortex-distributor<br>  template:<br>    metadata:<br>      labels:<br>        app: cortex-distributor<br>      annotations:<br>        prometheus.io/scrape: &quot;true&quot;<br>        prometheus.io/port: &quot;80&quot;<br>        prometheus.io/path: /metrics<br>    spec:<br>      containers:<br>        - name: distributor<br>          image: cortexproject/cortex:v1.9.0<br>          args:<br>            - -target=distributor <br>             #이런식으로 component target 을 설정하고 <br>            - -config.file=/etc/cortex-custom/cortex.yaml <br>              #cortex config file 을 지정하면 된다.<br>          ports:<br>            - containerPort: 80<br>              name: http<br>          livenessProbe:<br>            httpGet:<br>              path: /ready<br>              port: 80<br>            initialDelaySeconds: 15<br>            timeoutSeconds: 1<br>          readinessProbe:<br>            httpGet:<br>              path: /ready<br>              port: 80<br>            initialDelaySeconds: 15<br>            timeoutSeconds: 1<br>          resources:<br>            requests:<br>              cpu: 2<br>              memory: 1Gi<br>            limits:<br>              cpu: 2<br>              memory: 1Gi<br>          volumeMounts:<br>            - name: config<br>              mountPath: /etc/cortex-custom/<br>          lifecycle:<br>            preStop:<br>              exec:<br>                command: [&quot;sh&quot;, &quot;-c&quot;, &quot;sleep 5&quot;]<br>      volumes:<br>        - name: config<br>          configMap:<br>            name: cortex<br>      terminationGracePeriodSeconds: 60</pre><h4>Ingester Sample Config</h4><pre>---<br>apiVersion: apps/v1<br>kind: StatefulSet<br>metadata:<br>  name: cortex-ingester<br>  namespace: monitoring<br>spec:<br>  replicas: 4<br>  updateStrategy:<br>    type: OnDelete # ondelete 로 설정하면 version upgrade 나 설정 변경 시 pod 를 하나씩 삭제하면서 안전하게 진행할 수 있다.<br>  serviceName: cortex-ingester<br>  selector:<br>    matchLabels:<br>      app: cortex-ingester<br>  template:<br>    metadata:<br>      labels:<br>        app: cortex-ingester<br>      annotations:<br>        prometheus.io/scrape: &quot;true&quot;<br>        prometheus.io/port: &quot;80&quot;<br>        prometheus.io/path: /metrics<br>    spec:<br>      serviceAccountName: cortex<br>      containers:<br>        - name: ingester<br>          image: cortexproject/cortex:v1.9.0<br>          args:<br>            - -target=ingester<br>            - -config.file=/etc/cortex-custom/cortex.yaml<br>          ports:<br>            - containerPort: 80<br>              name: http<br>          readinessProbe:<br>            httpGet:<br>              path: /ready<br>              port: 80<br>            initialDelaySeconds: 15<br>            timeoutSeconds: 1<br>          resources:<br>            requests:<br>              cpu: 4<br>              memory: 30Gi <br>           # ingester 가 Resouce 를 가장 많이 사용하기 때문에, 하면서 값을 정한다.<br>            limits:<br>              cpu: 4<br>              memory: 30Gi<br>          volumeMounts:<br>            - name: config<br>              mountPath: /etc/cortex-custom/<br>            - name: data3<br>              mountPath: /cortex-data/<br>          lifecycle:<br>            preStop:<br>              exec:<br>                command: [&quot;sh&quot;, &quot;-c&quot;, &quot;sleep 5&quot;]<br>      volumes:<br>        - name: config<br>          configMap:<br>            name: cortex<br>      terminationGracePeriodSeconds: 600<br>      affinity:<br>        podAntiAffinity:<br>          requiredDuringSchedulingIgnoredDuringExecution:<br>            - labelSelector:<br>                matchExpressions:<br>                  - key: app<br>                    operator: In<br>                    values:<br>                      - cortex-ingester<br>              topologyKey: &quot;kubernetes.io/hostname&quot;<br>  volumeClaimTemplates:<br>    - metadata:<br>        name: data3<br>      spec:<br>        storageClassName: gp3-csi-volume<br>        accessModes: [&quot;ReadWriteOnce&quot;]<br>        resources:<br>          requests:<br>            storage: 200Gi</pre><h3>Cortex.yaml</h3><ul><li>Cortex 의 설정에 대한 파일은 <a href="https://cortexmetrics.io/docs/configuration/configuration-file/">https://cortexmetrics.io/docs/configuration/configuration-file/</a> 해당 문서를 참조하면 된다.</li><li>실제로 Cortex 를 구성하고 성능 튜닝시, 해당 file 을 가장 많이 수정하게 된다.</li><li>해당 YAML file 은 은 현재 사내에서 Cortex 구성에 사용중인 값들이다.(일부 설정된 값들은 기억이 안나서 정확한 설명이 아닐 수 있다 ㅠ )</li></ul><pre>apiVersion: v1<br>kind: ConfigMap<br>metadata:<br>  name: cortex<br>  namespace: monitoring<br>data:<br>  cortex.yaml: |-<br>    api:<br>      response_compression_enabled: true</pre><pre>server:<br>      http_listen_port: 80<br>      grpc_listen_port: 9095<br>      http_server_read_timeout: 2m<br>      http_server_write_timeout: 2m<br>      # gRPC message 사이즈를 해당 값을 통해 조절할 수 있다. component 들이 통신 시 grpc message 관련 error 가 난다면, 해당 값들을 수정해 보자.<br>      grpc_server_max_recv_msg_size: 104857600 <br>      grpc_server_max_send_msg_size: 104857600<br>      grpc_server_max_concurrent_streams: 1000</pre><pre>distributor:<br>      # 해당 옵션을 추가하면 Rolling restart 시 sample 이 다른 distributer 로 확산되는것을 방지한다.<br>      extend_writes: false<br>      pool:<br>        client_cleanup_period: 5s<br>      # distributer HA Tracker 관련 옵션<br>      ha_tracker:<br>        enable_ha_tracker: true<br>        kvstore:<br>          store: consul<br>          consul:<br>            host: consul:8500<br>      ring:<br>        kvstore:<br>          store: consul<br>          consul:<br>            host: consul:8500<br>    #ingester client 관련 옵션<br>    ingester_client:<br>      grpc_client_config:<br>        max_recv_msg_size: 104857600<br>        max_send_msg_size: 104857600<br>        grpc_compression: gzip</pre><pre>ingester:<br>      lifecycler:<br>        final_sleep: 30s<br>        num_tokens: 512<br>        # distributor.extend-writes=false 랑 같이 사용되는 옵션<br>        unregister_on_shutdown: false<br>        tokens_file_path: /cortex-data/token</pre><pre>ring:<br>          kvstore:<br>            store: consul<br>            consul:<br>              host: consul:8500<br>          replication_factor: 3 part1 에 설명한 replication factor 설정</pre><pre> frontend:<br>      #프론트엔드 테넌트당 최대 outstanding request 수 <br>      max_outstanding_per_tenant: 1000<br>      query_stats_enabled: true</pre><pre>frontend_worker:<br>      frontend_address: cortex-query-frontend-headless.monitoring:9095<br>      match_max_concurrent: true<br>      grpc_client_config:<br>        max_recv_msg_size: 104857600<br>        max_send_msg_size: 104857600</pre><pre>querier:<br>      #동시에 보내는 쿼리 갯수<br>      max_concurrent: 500<br>      #12시간 안의 query 는 ingester 한테 보냄 <br>      query_ingesters_within: 12h<br>      query_store_after: 0</pre><pre>query_range:<br>      results_cache:<br>        cache:<br>          memcached_client:<br>            host: cortex-memcached.monitoring<br>            service: tcp-memcached<br>            timeout: 1000ms<br>          #query cache 관련 옵션, 1시간 지나면 expire 되도록 설정<br>          memcached:<br>            expiration: 3600s<br>      cache_results: true<br>      #  queries 를 24시간 단위로 쪼개서 동시에 실행하도록 함<br>      split_queries_by_interval: 24h</pre><pre>storage:<br>      #Block storage engine 사용 옵션<br>      engine: blocks</pre><pre>compactor:<br>      data_dir: /cortex-data/<br>      # True 이면 compacter 시작할 때 모든 bucket object 를 scan 하고, deletion mark 를 복사하는 동작을 진행한다.<br>      block_deletion_marks_migration_enabled: false<br>      #sharding 관련 옵션<br>      sharding_enabled: true<br>      sharding_ring:<br>        kvstore:<br>          store: consul<br>          consul:<br>            host: consul:8500</pre><pre>store_gateway:<br>      sharding_enabled: true<br>      sharding_ring:<br>        kvstore:<br>          store: consul<br>          consul:<br>            host: consul:8500</pre><pre>blocks_storage:<br>      backend: s3<br>      s3:<br>        endpoint: s3.{{region}}.amazonaws.com<br>        bucket_name: {{bucket-name}}<br>      bucket_store:<br>        #위에 얘기한 block storage cache 를 어디다 저장할 것인지에 대한 option 을 나타낸다.<br>        index_cache:<br>          backend: memcached<br>          memcached:<br>            addresses: dnssrv+_tcp-memcached._tcp.cortex-memcached.monitoring.svc.cluster.local<br>            timeout: 1000ms<br>            max_get_multi_concurrency: 200<br>        chunks_cache:<br>          backend: memcached<br>          memcached:<br>            addresses: dnssrv+_tcp-memcached._tcp.cortex-memcached.monitoring.svc.cluster.local<br>            timeout: 1000ms<br>            max_get_multi_concurrency: 200<br>        metadata_cache:<br>          backend: memcached<br>          memcached:<br>            addresses: dnssrv+_tcp-memcached._tcp.cortex-memcached.monitoring.svc.cluster.local<br>            timeout: 1000ms<br>            max_get_multi_concurrency: 200<br>        #위에 설명한 bucket index 관련 옵션을 enable 할 때 사용한다.<br>        bucket_index:<br>          enabled: true<br>        sync_dir: /cortex-data/<br>        store-gateway 의 index-header lazy load 관련 옵션을 활성화 한다.<br>        index_header_lazy_loading_enabled: true<br>        # long term stoage query 시 동시 실행할 쿼리 수를 나타낸다.<br>        max_concurrent: 200<br>      tsdb:<br>        dir: /cortex-data/</pre><pre>limits:<br>      # HA prometheus setup 시 사용<br>      accept_ha_samples: true<br>      # Prometheus ha 구성시 cluster label 을 식별하기 위해 사용<br>      ha_cluster_label: {{cluster-label}}<br>      # Prometheus HA replia 를 식별하기 위해 사용<br>      ha_replica_label: {{replica-label}}<br>      # ingestion rate limit 관련 옵션<br>      ingestion_rate: 1000000<br>      # 메트릭 user, ingester 당 최대 활성 series 수, 0 이면 끄는 것<br>      max_series_per_user: 0<br>      # 메트릭 이름당 최대 활성 series 수, 0 이면 끄는 것<br>      max_series_per_metric: 0<br>      max_label_names_per_series: 60<br>      #s3 Block 을 얼마 기간동안 저장할 것인지에 대한 옵션, 옵션 설정시 바로 삭제하지 않고, s3 index 에 deletion Mark object 가 생성된 후에, 나중에 쿼리가 들어오지 않으면 삭제가 된다.<br>      compactor_blocks_retention_period: 180d</pre><h3>Cortex Cluster Monitoring</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*iM-wo8WLWUc39l-1" /></figure><p>Cortex Monitoring 시, 기본적으로 살펴봐야 하는 Metric 들이다.</p><ul><li>Ingester response time : Distributor 가 ingester 에 write 요청을 보낼 때 얼마나 오래 걸리는지에 대한 지표이다.</li><li>Querier response time : Querier 에 쿼리 요청을 날릴 때 얼마나 오래 걸리는지에 대한 지표를 나타낸다.</li><li>HA Tracker time : Prometheus HA 상태에 대한 Metric .</li><li>PVC Usage : 각 component PVC 상태를 확인한다.</li><li>추가적으로, remote Prometheus 의 metric 중에 prometheus_remote_storage_highest_timestamp_in_seconds 라는 metric 이 있다. 해당 metric 을 통해 Prometheus → Cortex remote write 에 걸리는 시간을 측정할 수 있다. 해당 지표를 Cortex 에 문제가 생겼는지에 대한 Alert 중 하나로 설정하는 것을 추천한다. <a href="https://grafana.com/blog/2021/04/12/how-to-troubleshoot-remote-write-issues-in-prometheus/">참고</a></li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*FFLip2KPG5EzDVi3" /></figure><p>이 외 기본적인 Cortex Cluster component 들의 CPU, Memory, Network 에 대한 Metric 을 설정하여 Component 들의 상태를 빠르게 체크할 수 있도록 하는 것이 좋다.</p><h3>운영하면서 겪었던 TLDR</h3><h4>Cortex 운영 시 주의 사항</h4><p>Cortex monitoring 구성시, 기존 Cluster 에 있는 Prometheus 외에 Cortex 전용 Prometheus 를 구성해서 따로 모니터링 하는것이 좋다.</p><ul><li>이유는 Cortex 장애시, Cortex 가 설치된 Cluster 포함 모든 Prometheus 의 query 가 제대로 동작하지 않을 수 있기 때문에 Cortex 만 monitoring 하는 Prometheus 를 따로 구성해서 보는 것이 좋다.</li></ul><p>현재 사내에서 Cortex는 Grafana 에서 query 할 때만 사용하고, Monitoring Alert 같은 경우 Remote Prometheus 에서 query 하는 방식으로 사용중이다.</p><ul><li>이유는 Cortex 전면 장애시 Remote Prometheus 가 정상 동작함에도 불구하고 모든 Cluster 의 Alert 가 문제가 발생할 수 있기 때문이다.</li></ul><p>만약 Remote Prometheus 에서 잘못된 metric이 양산되서 들어올 경우, 어떤 metric 이 잘못되었는지 파악 후 해당 cluster 의 prometheus 에 metric filter 를 걸거나, metric 을 쌓지 못하게 block 을 먼저 시도해야 한다.</p><ul><li>해당 문제가 있는 Cluster 의 Metric write 를 빠르게 Block하지 못하면, 모든 Cortex write 에 문제가 생겨 모든 Cluster 의 metric 유실이 발생할 수도 있다…..</li></ul><p>ingester 의 ring status , HA status 등 여러 config 들은 distributer pod 의 80 port 로 port-forwarding 후 web page 에서 확인 가능하다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/596/0*gCeZS0GNE4jyiL4Q" /></figure><ul><li>current config</li><li>Usage statics</li><li>HA Tracking status</li><li>ingester ring status</li><li>service status</li></ul><p>를 확인 가능하다.</p><p>만약 장애가 나서 여러 ingester 가 동시에 문제가 생기고, ingester ring 이 깨져서 새로운 ingester 가 join 이 안될 경우, 해당 Admin page 를 통해 troubleshooting 가능하다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*qOG2M70WXX7UctBC" /></figure><ul><li>ingester ring status page 에 들어가서, 문제가 있는 node 를 Forget 하면 정상적으로 새로운 ingester 가 join 된다.</li></ul><p>Cortex 장애가 복구되어 정상적으로 traffic 을 받을 수 있을 시점에, ingester, Distributer 를 크게 Provisioning 해 놓는 것이 좋다.</p><ul><li>Cortex 장애기간동안 write 거부되었던 Remote prometheus metric 이 엄청나게 많이 들어오기 때문에, Distributer 나 ingester 가 감당할 수 없어 다시 장애가 발생된다.</li><li>임시로 distributer ingester 를 약 1.5~2배정도 replica count 를 임시로 늘린 후에, 모든 Metric 이 들어오면 그때 다시 다시 replica count 를 줄이는 방식으로 해결 가능하다. (그대신 돈이 많이 나온다 ㅠ)</li></ul><p>여기까지 Cortex 설치 및 monitoring , 그리고 실제로 운영하면서 겪은 다양한 팁들을 알아보았다.</p><p>Cortex 는 Multi kubernetes Cluster 를 운영하는 DevOps engineer 에게 매우 유용한 Tool 이지만, 그만큼 운영 Cost 와 infra 비용이 수반되는 tool 이라고 생각한다.</p><p>이 글이 Cortex 를 도입하려고 하시는 분들이나, 실제로 운영하고 계시는 Engineer 분들께 약간의 도움이나마 됬으면 하는 바램이다.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=7544da526317" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Prometheus-Cortex Deep dive — Part 1]]></title>
            <link>https://medium.com/@tkdgy0801/prometheus-cortex-deep-dive-part-1-28a9df2920f4?source=rss-45ed95f05115------2</link>
            <guid isPermaLink="false">https://medium.com/p/28a9df2920f4</guid>
            <category><![CDATA[kubernetes]]></category>
            <category><![CDATA[cortex]]></category>
            <category><![CDATA[prometheus]]></category>
            <category><![CDATA[monitoring]]></category>
            <category><![CDATA[architecture]]></category>
            <dc:creator><![CDATA[SangHyo Han]]></dc:creator>
            <pubDate>Sat, 12 Mar 2022 15:23:45 GMT</pubDate>
            <atom:updated>2022-03-13T13:09:05.212Z</atom:updated>
            <content:encoded><![CDATA[<h3>Prometheus-Cortex Deep dive — Part 1</h3><blockquote>이번 블로그 글은 KANS(kubernetes Advanced Networking Study) 에서 작성하는 졸업 과제로, 확장성 있는 Prometheus Monitoring 에 대해서 고민하고 있는 Kubernetes운영자들을 위해 Cortex Architecture 세부 소개와, 실제로 사내 운영 중인 Cortex 에 대해 어떻게 운영하고 있는지에 대해 작성해 보려고 한다.</blockquote><h3>Prometheus 의 문제점</h3><p>Cortex 는 Prometheus 의 여러 단점을 보안하기 위해 나온 Open source project 이다.</p><p>Prometheus 는 이미 kubernetes Monitoring 의 표준으로 자리잡았는데, 하지만 Prometheus 는 태생적으로 가지는 여러 문제점들이 있다.</p><ul><li>Scale out , HA 구조를 고려하지 않고 설계되었다. (요즘은 HA 기능이 되는 걸로 기억한다)</li><li>Prometheus 에서 long-term 으로 데이터를 쿼리 시, 성능이 매우 저하되어 Prometheus 에 많은 부하가 오는 문제가 있다.</li><li>Prometheus 가 저장하는 time-series 는 특성상 저장 기간이 엄청나게 길게 저장하기가 힘들다 (ex 1년 이상)</li></ul><p>이러한 문제점을 해결하기 위한 여러 open source project 가 나왔는데, 그중 가장 대표적인 것이 <a href="https://thanos.io/">thanos</a> , <a href="https://cortexmetrics.io/">Cortex</a> 이다.</p><h3>Cortex 란?</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*uemZL4sXXnspMMmXk8eq3Q.png" /></figure><p>Cortex 는 Prometheus 를 위해 디자인 된, horizontally scalable, HA , Multi-tenant, long-term Storage 이라고 소개가 되어 있는데, 이를 조금 더 자세하게 알아보자. 주요 지원하는 기능은 다음과 같다.</p><h4>수평 확장 가능</h4><p>Prometheus 를 수평적으로 확장할 수 있어, 각각 다른 metric 을 수집하는 prometheus 를 aggregation 하여 metric 을 확인할 수 있다.</p><p>현재 사내에서는 kube-state-metrics 와 application 에서 만드는 custom prometheus metric 을 수집하는 prometheus 가 따로 존재하는데, 이를 동시에 묶어서 쿼리할 수 있도록 Cortex 가 지원해 준다.</p><h4>HA</h4><p>Cortex 는 Ring Architecture 를 가지고 있어, 각 Component 중 하나의 node 가 망가진다고 해도 전체 Cortex cluster 의 데이터 유실을 방지 할 수 있다.</p><p>또한 Remote Prometheus 의 HA 기능도 지원해서, 동일한 Data 를 수집하는 Prometheus 가 있으면 해당 중복된 metric sample 을 제거하여 Prometheus HA 를 손쉽게 구성할 수 있도록 한다.</p><h4>Long term storage</h4><p>Cortex 는 방대한 양의 Prometheus data 를 매우 long-term 으로 저장할 수 있도록 구성되어 있다.</p><p>초기에는 Backend storage 를 dynamoDB, Cassandra 로 구성할 수 있었지만(현재는 Deprecated), 이후 thanos Project 와의 협력으로 인해 S3 Block storage 를 사용하여 Data 를 값싸게 저장할 수 있게 되었다.</p><ul><li>사내에서도 초기에는 Cassandra 를 사용해서 Data 를 저장하였지만, 현재는 S3 를 사용하여 Data 를 저장하고 있다.</li></ul><p>또한 long-term 으로 저장되는 Data 에 대한 쿼리 또한 느리지 않도록 여러 cache layer 를 둔 아키텍쳐를 사용하고 있다.</p><p>Cortex 는 이러한 확장성 있는 Prometheus Architecture 를 지원하기 위해, 상당히 복잡한 Architecture 로 되어 있다. 이를 조금 더 자세하게 알아보자.</p><h3>Cortex Basic Architecture</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*3f3iLhjKMbyjTW98.png" /></figure><p>Cortex 는 데이터를 저장할 때, Prometheus의 <a href="https://prometheus.io/docs/prometheus/latest/configuration/configuration/#remote_write">remote_write</a> 를 이용해서 Prometheus에서 Cortex로 메트릭을 보내서 저장하는 방식이다.</p><p>Cortex 구성 요소는 역할에 따라 다양한 component 단위로 구성된다.</p><ul><li>Distributor</li><li>Ingester</li><li>Store Gateway</li><li>Compactor</li><li>Querier</li><li>Query Frontend</li><li>Ruler (optional)</li><li>Alertmanager (optional)</li></ul><p>Cortex 의 모든 Component 들은 Ring Architecture 를 사용하고 있으며, 각 componenet 의 state 관측이나, Token ring 관리 같은 Process 를 통해 Data 의 안정성을 보장한다. Ring 의 State 는 Harshicorp 회사의 <a href="https://www.consul.io/">Consul</a> 이라는 Opensource 를 통해 관측된다. 이 외에 다른 tool 도 사용 가능하다.</p><p>그럼 이 component 들이 어떤 역할을 하는지 한번 자세하게 알아보자.</p><h3>Distributer (Stateless)</h3><blockquote>중요도: 상 , 문제 발생 시 Remote Prometheus 에서 data 를 받을 수 없음</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/835/1*WBRRGV9r-i5g2O80twddIg.png" /></figure><p>prometheus 에서 주는 metric sample 을 최 앞단에서 받는 component 이다.</p><p>Prometheus 로부터 샘플을 받으면 각 샘플의 정확성을 검증한 후에, 만약 이러한 요구사항을 충족하지 않는다면 기본 샘플로 대체한다.</p><h4>정확성 검증 항목</h4><ul><li>label 이름이 형식이 잘 맞는지</li><li>label 수가 넘지 않는지</li><li>label 이름 및 값의 최대 length 가 valid 한지</li><li>timestamp 가 잘 맞는지</li></ul><p>그 다음 valid 한 sample 을 batch 형태로 만든 후에, 여러 ingester 들에게 parallel 하게 보낸다. (with replication factor )</p><h4>High Availability Tracker</h4><p>ingester 가 제공하는 기능중에 하나이다.</p><p>HA 를 키면, 여러 Prometheus 에서 들어오는 중복된 metric sample 을 제거한다.</p><p>중복 sample 을 지울 때는, metric 에 있는 cluster name 과 replica 이름으로 식별하여 중복 sample 을 제거한다.</p><p>ingester 의 HA Tracker 는 consul kv-store 를 통해 어떤 cluster 의 prometheus 가 현재 leader 인지 식별한다.</p><ul><li>실제로 consul UI 에 접속해서 확인해 보면, 현재 Leader Remote prometheus 가 어떤건지 확인할 수 있다.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*Xs4oFCMGmDff_NNv" /></figure><h4>Hashing &amp; Hash ring</h4><p>Distributer 는 consistant hashing 을 사용하여 어떤 ingest instance 로 보낼 지에 대해서 결정한다.</p><p>이때 sample 데이터의 내부 속성을 이용해서 hashing 하게 되는데, 해당 값은 consul kv-store 를 사용하여 저장된다.</p><h3>Ingester (Semi-Stateful)</h3><blockquote>중요도: 상 , 문제 발생 시 Cortex Storage 에 metric 이 저장되지 않음</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/835/1*UeGguFoUu8xYdlz6mYcOEg.png" /></figure><p>ingester 는 모든 distributer 에서 보낸 데이터에 대해서 long-term storge 에 저장하는 역할을 담당한다.</p><p>ingester 가 들고 있는 데이터는 storge 에 즉시 기록되지 않고, 메모리에 유지되었다가 주기적으로 storage 에 flush 된다.</p><p>따라서 querier가 쿼리를 실행하는 동안 ingester 와 long-term storage (store-gateway를 통해) 에 둘 다 쿼리를 진행할 수도 있다.</p><p>ingester 는 lifecycle 을 관리하는 lifecycler 가 같이 내장되어 있어, ingester 가 문제가 발생시 다른 ingester 가 ring token 을 넘겨받아 정상적으로 Data 를 저장할 수 있도록 한다.</p><p><strong>PENDING</strong></p><ul><li>이 상태에서 ingester 는 쓰기 및 읽기 요청을 수신하지 않는다. TSDB 실행 후 다른 ingester 로부터 시계열 데이터 전송을 기다릴 수 있다.</li></ul><p><strong>JOINING</strong></p><ul><li>ingester 가 시작되고 링에 합류하는 상태이다. 이 상태에서 Distributer 의 쓰기 및 읽기 요청을 받지 않는다</li><li>hand-over 프로세스 가 활성화 된 경우, 떠나는 ingester 가 수신한 토큰을 사용하여 링에 합류한다.</li><li>해당 ingester 가 새로 뜨는 ingester 일 경우, 디스크에서 토큰을 로드 하거나 새로운 임의의 토큰 세트를 생성한다.</li><li>ingester 는 token ring 충돌에 대한 것을 consul 을 통해 지속적으로 관찰한 다음 충돌이 해결되면 ACTIVE 상태 로 이동한다.</li></ul><p><strong>ACTIVE</strong></p><ul><li>ingester 가 실행 중인 상태이다. 이 상태에서 수집기는 쓰기 및 읽기 요청을 모두 수신할 수 있다.</li></ul><p><strong>LEAVING</strong></p><ul><li>ingester 가 종료되고 링을 떠난다. 이 상태에 있는 동안 ingester 는 쓰기 요청을 받지 않지만 읽기 요청은 받을 수 있다.</li></ul><p><strong>UNHEALTHY</strong></p><ul><li>ingester 가 링의 Consul KV-store 에 대한 하트비트에 실패한 경우에 해당 state 로 들어간다.</li><li>이 상태에서 distributer 는 해당 ingester 를 제외하고, 해당 ingester node 가 들고 있던 data 에 대해서 복제본 을 구성함. 해당 ingester 또한 쓰기 또는 읽기 요청을 받지 않는다.</li></ul><h4>Ingesters failure and data loss</h4><p>ingester 가 data 를 못보내거나 crash 상태 일 때, storage 에 flush 되기 전 memory 에 있는 모든 data 가 손실될 가능성이 있다. 이런 오류를 방지하는 것은 2가지가 있다.</p><p>Replication</p><ul><li>series 에 대해서 여러 ingester 가 복제본을 가지고 있도록 구성할 수 있다. (대충 3개)</li><li>이 경우에는 하나의 ingester fail 날 경우에 안전하지만, 여러개의 ingester 에 문제가 발생할 경우 data loss가 발생할 가능성이 높다.</li></ul><p>WAL</p><ul><li>WAL 은 모든 쓰기로 들어오는 sample 을 flush 전까지 Persistance Volume 에 저장한다.</li><li>Error 가 발생한 후 ingester 가 다시 시작되면 WAL 이 재생되고, Memory 내 sample 이 복구된다.</li><li>PV 가 망가지지 않았다는 가정하에, 여러 ingester 들이 동시에 fail 나도 WAL 에서 전부 복구할 수 있다.</li><li>Block storage 를 backend 로 사용할 시 자동으로 해당 option 이 켜져 있는것을 확인할 수 있다.</li></ul><h3>Store-Gateway (Semi-Stateful)</h3><blockquote>중요도: 상 , 문제 발생 시 Cortex Block storage 에 쿼리가 불가능 (Data 저장은 정상)</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/835/1*YMZYkCcdaYkXzRAvDUrGFw.png" /></figure><p>ingester 가 저장한 block storage 에서 시리즈를 query 하는 Cortex component 이다.</p><p>block storage 를 backend 로 사용할 경우, store-gateway 가 반드시 필요하다.</p><p>Store gateway 는 어떤 shard 에 속한 block 을 검색하기 위해, 저장소 bucket 에 대한 almost up-to-date view 를 가지고 있어야 한다.</p><p>Store gateway 는 2가지 방식으로 update 된 상태를 유지한다.</p><ul><li>Bucket 을 주기적으로 scanning</li><li>주기적으로 bucket index 를 다운로드하여 상태를 저장</li></ul><h4>Bucket index 비 활성화 시</h4><p>Storage gateway 는 시작할 때 전체 storage bucket 을 반복해서 모든 tenent 에 대한 block object 을 검색하고, 해당 block 에 대한 index header 를 다운로드 한다.</p><p>다운로드가 다 되기 전에 쿼리가 실행되는 걸 막기 위해 /ready probe 가 실패하도록 되어 있다.</p><ul><li>Bucket index 는 매번 다운로드가 되지는 않으며, Persistance disk 에 저장하였다가 나중에 재시작 되어도 사용할 수 있도록 한다.</li></ul><h4>Bucket index 활성화 시</h4><p>위에 언급한 것과 비슷하게 전체 workflow 는 거의 동일하지만, bucket object 를 순회하는 것이 아니라 bucket index 만 전부 받아서 저장한다.</p><h4>bucket sharding</h4><p>Store gateway 는 block sharding 을 지원하여, 대규모 cluster 에서 block 을 수평으로 확장하는데 사용할 수 있다.</p><p>sharding 이 활성화되면 store-gateway 인스턴스 는 hash ring 을 구성해서 shard 를 구성한다.</p><p>Store gateway 는 지속적으로 ring 상태를 모니터링 하고, 새 instance 가 추가 or 제거될 때마다 block id hash 기반으로 shard 에 할당된 block 을 다시 동기화 한다.</p><h4>Block index header</h4><p>index-header는 store-gateway가 object storage 에서 쿼리 속도를 높이기 위해 로컬 디스크에 보관하는 블록 인덱스의 하위 집합이다.</p><p>시작 시 store-gateway는 샤드에 속한 각 블록의 인덱스 헤더를 다운로드하며, 다 다운 전까지 not ready 상태에 들어간다.</p><p>또한 실행 중에 주기적으로 저장소에서 새로 업로드된 블록을 찾고, 샤드에 속한 블록에 대한 인덱스 헤더를 다운로드한다.</p><h4>Index-header lazy loading</h4><ul><li>index header 다운로드 직후 해당 mapping 된 index 는 계속 store-gateway 메모리에 계속 들고 있을 수도 있다. 따라서 cortex 는 이 옵션을 통해 index header 를 검색 때만 메모리에 맵핑하고, 지정한 시간 이후에 자동으로 해제된다.</li></ul><h4>Caching</h4><p>Store-gateway 는 위에 언급한 bucket index, chunk, metatdata 를 캐싱해서 사용할 수 있다.</p><p>이때 여러 redis , memcache 등 다양한 Cache 를 사용할 수 있다. 현재 사내에서는 memcache 를 사용하여 이러한 데이터를 Caching 하고 있다.</p><h3>Compactor (Stateless)</h3><blockquote>중요도: 중, 문제 발생 시 S3 및 query operation이 비효율적</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/835/1*7muForGDlzif0x1Q25DrXA.png" /></figure><p>Compactor 는 ingester 가 저장한 Prometheus Data block 을 최적화된 하나의 큰 block 으로 압축하는 역할을 하고 있다. 이를 통해 storage 비용을 절감하고, 쿼리 속도를 빠르게 하도록 돕는다.</p><p>또한 tenent 별 bucket index 를 update 된 상태로 유지하는 역할을 한다. 여기서 bucket index 는 querier, store-gateway 가 storage 에서 새로운 block 을 검색하는데 사용한다.</p><h4>How compaction works</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1002/0*q6YqQZ5pMeqxVGFV" /></figure><h4>수직 압축</h4><p>동일한 시간 범위 동안 모든 ingester 가 올린 block 을 수직으로 압축한다.</p><p>동일한 시간 범위(기본적으로 2시간 범위) 동안 ingester 가 업로드한 tenet 의 모든 블록을 단일 블록으로 병합하는 동시에, 원래 기록된 샘플의 중복을 제거한다.</p><h4>수평 압축</h4><p>시간 범위가 작은 block 을 큰 하나의 block 으로 압축한다.</p><p>수평 압축은 수직 압축 후에 트리거되며, 인접한 2시간 범위 기간의 여러 블록을 하나의 더 큰 블록으로 압축한다</p><p>블록 청크의 전체 크기는 이 압축 이후에 변경되지 않지만 , store-gateways에 의해 메모리에 보관되는 인덱스 및 인덱스 헤더의 크기를 크게 줄일 수 있다.</p><h3>Querier, Query Frontend(stateless)</h3><blockquote>중요도: 중, 문제 발생시 쿼리가 되지 않음</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/835/1*9ITbAF8jDoRTJkDKRBuPvQ.png" /></figure><h4>Querier</h4><p>Querier 는 promql 을 사용해서 data 저장소에다가 query 를 하는 역할을 한다.</p><p>이 때, long-term-storage (store-gateway) 와 ingester 에 동시에 쿼리를 때려서 sample 을 더 빠르게 가지고 온다.</p><p>이 경우 duplicated 된 결과가 나올 수도 있으니 정확한 동일한 timestamp 를 사용해서 내부적으로 sample 을 중복 제거한다.</p><h4>Query Frontend</h4><p>Querier 의 실질적인 API 엔드포인트를 제공하며, query read 하는 속도를 가속화 해주는 역할을 한다.</p><p>또한 Queuing을 통해 실제 쿼리를 실행하는 Querier가 대형 쿼리를 실행하다가 Out Of Memory를 일으킬 때를 위해 재시도를 보장한다.</p><p>추가로 query 를 FIFO로 분산해서 한 Querier가 대형 쿼리를 다수 받지 않도록 하며, 서비스 사용자(tenant)가 쿼리를 공정하게 스케줄링해서 DoS에서 사용자를 보호한다.</p><p>query Splitting 을 통해 여러 날짜에 걸친 쿼리를 쿼리를 하루짜리 다수의 쿼리로 나누어서 Querier로 보내고 결과를 받아서 다시 합치는 역할도 하고 있다.</p><p>또한 쿼리 결과를 캐싱하고, 만약 동일한 데이터를 쿼리하려고 할 때 이를 재사용하여 빠르게 쿼리할 수 있도록 한다. (Backend Storage 로 Memcached 를 사용)</p><h4>Query Scheduler</h4><p>Query Frontend 에서 별도의 구성으로, Query Frontend 의 내부 큐를 따로 분리해서 구성할 수 있는 선택적 service 이다.</p><p>Query scheduler 동작 원리</p><ul><li>query 가 query frontend 에서 수신 됨</li><li>query frontend 는 query 를 임의의 query scheduler 로 전달</li><li>query scheduler 는 query 를 in-memory queue 로 전달하고, querier 가 선택하기를 기다림</li><li>querier 는 query 를 선택하고 실행</li><li>querier 는 query frontend 로 결과값을 전달하고, 이를 client 에 다시 전달.</li></ul><p>여기까지 Cortex 가 어떤 Architecture 로 구성되어 있는지 매우 자세하게 알아보았다.</p><p>다음 Part 2 는, Cortex 설치 방법과, 실제 운영할 때 주의해야 하는 Config 및 Cortex Cluster Monitoring 에 대해 작성해 보려고 한다.</p><p>Part 2 바로가기 : <a href="https://medium.com/@tkdgy0801/prometheus-cortex-deep-dive-part-2-7544da526317">링크</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=28a9df2920f4" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[EKS AutoScaling 하기 Part 2—IAM Role for Service Account & EKS Cluster Autoscaler]]></title>
            <link>https://medium.com/@tkdgy0801/eks-autoscaling-%ED%95%98%EA%B8%B0-part-2-iam-role-for-service-account-eks-cluster-autoscaler-c3bbb0d44d1b?source=rss-45ed95f05115------2</link>
            <guid isPermaLink="false">https://medium.com/p/c3bbb0d44d1b</guid>
            <category><![CDATA[kubernetes]]></category>
            <category><![CDATA[aws]]></category>
            <category><![CDATA[autoscaling]]></category>
            <category><![CDATA[helm]]></category>
            <category><![CDATA[ek]]></category>
            <dc:creator><![CDATA[SangHyo Han]]></dc:creator>
            <pubDate>Fri, 27 Mar 2020 02:20:23 GMT</pubDate>
            <atom:updated>2020-04-27T03:21:15.721Z</atom:updated>
            <content:encoded><![CDATA[<h3>EKS Cluster Autoscaler</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/425/1*mZGGtf8_cyobeWhKZZKK8g.jpeg" /></figure><p>Part 1 에서는 Prometheus 를 사용한 Pod Autoscaling 에 대해 알아보았다. 만현재 사용하고 있는 Cluster 가 Pod HPA 를 계속 진행하다가, 현재 클러스터에 할당할 수 있는 전체 Pod 의 개수가 넘어가면, 그때는 Cluster Node 자체를 Scale 해야 한다.</p><p>Part 2 에서는 EKS 에서 Cluster에 할당된 Node를 어떻게 Autoscaling 할 수 있는지에 대해 알아보고, 덤으로 EKS 에서 최근에 출시된 기능인 IAM for ServiceAccount 를 사용해서 으로 Autoscaler 관련 권한을 설정하고, Pod 에 최소한으로 AWS Autoscaling 접근 권한을 가지게 설정하는 방법을 알아보도록 한다.</p><h4>Cluster Autoscaler Overview</h4><p>Cluster Autoscaler 는 다음 이상의 2가지 조건 중 하나 이상 충족될 때 클러스터의 크기를 자동으로 조절하는 도구이다.</p><ol><li>리소스 부족으로 인해 클러스터에서 실행되지 않은 Pod 가 있을 때 ex) Pending 상태 일때)</li><li>클러스터에 장기간 사용되지 않은 노드가 있고 그러한 노드들의 포드를 기존의 다른 노드에 배치할 수 있을 때</li></ol><p>AWS 에서의 Cluster Autoscaler 는 지정된 Auto Scaling Group 내의 Worker node 를 조정하여 클러스터에서 Deployment 로 실행된다.</p><h4>Setup Cluster Autoscaler at EKS 요약</h4><ol><li>Pod 에 필요한 IAM 권한을 할당하기 위해 IAM Role for Service Account 설정을 완료한다.</li><li>Auto Scaling 에 필요한 IAM Role 을 생성한 후에, EKS Worker Node Tag 에 여러 Condition 을 추가한다.</li><li>정의한 Helm Value 파일을 사용하여 Helm Chart 를 생성하고, Cluster 내에 적용한다.</li></ol><h4>1. IAM Role for Service Account</h4><p>기존에는 Pod 에 필요한 IAM 권한을 할당하기 위해 아래와 같은 방법들을 사용했어야 했다.</p><ul><li>Worker Node 전체에 IAM 권한을 할당</li><li>K8S Secret 에 Application 별 Access Key Pair 를 저장하고 Pod 에 Mount</li><li>3rd party open source tool (‘kube2iam’, ‘kiam’) 등을 활용</li></ul><p>EKS 개발 로드맵에 IAM Role 을 Pod 에 할당하는 기능이 나오기 전까지는 ‘kube2iam’ 이나 ‘kiam’ 등을 이용해 대체하는 편이었지만,</p><p>신규 기능은 IAM Role 권한을 정확히 원하는 Pod 에 할당할 수 있도록 개선되었고, 2019년 09월 이후, EKS 1.13 버전부터 지원한다. (2019/09 이전에 EKS 1.13 이상 버전을 설치한 경우 업그레이드 필요)</p><p>관련 문서:</p><ul><li><a href="https://aws.amazon.com/blogs/opensource/introducing-fine-grained-iam-roles-service-accounts/">AWS Blog Announce — IAM Role for Service Account</a></li><li><a href="https://docs.aws.amazon.com/eks/latest/userguide/iam-roles-for-service-accounts.html">AWS Docs — IAM Role for Service Account</a></li></ul><p>1-1. IAM Role for Service Account 사용 활성화 하기</p><p>우선 아래와 같이 EKS Console 에서 OpenID Connect URL 이 연결되어 있는지 확인한다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*UpUW6GSF74PpF56ic2Nr1w.png" /></figure><p>1-2. IAM Identity Provider 생성하기</p><p>IAM 콘솔에서 Identity Providers (IdP) 로 이동하여 신규 OIDC Provider 를 생성한다.</p><ul><li>Provider Type 은 ODIC 로 설정</li><li>Provider URL 은 1–1에서 확인한 OpenID Connect URL 로 설정</li><li>Audience 는 ‘sts.amazonaws.com’ 으로 설정</li></ul><p>Console 에서는 IdP가 생성할 때 CA Thumbprint 를 자동으로 생성하여 입력이 된다.</p><h4>2. Attach IAM policy to NodeGroup</h4><p>Pod 가 Autoscaling 을 위한 최소한의 권한은 다음과 같다.</p><pre>{<br>    &quot;Version&quot;: &quot;2012-10-17&quot;,<br>    &quot;Statement&quot;: [<br>        {<br>            &quot;Effect&quot;: &quot;Allow&quot;,<br>            &quot;Action&quot;: [<br>                &quot;autoscaling:DescribeAutoScalingGroups&quot;,<br>                &quot;autoscaling:DescribeAutoScalingInstances&quot;,<br>                &quot;autoscaling:DescribeLaunchConfigurations&quot;,<br>                &quot;autoscaling:SetDesiredCapacity&quot;,<br>                &quot;autoscaling:TerminateInstanceInAutoScalingGroup&quot;<br>            ],<br>            &quot;Resource&quot;: &quot;*&quot;<br>        }<br>    ]<br>}</pre><p>만약 node Group 을 0 에서 확장하려면 ,autoscaling:DescribeLaunchConfigurations 이나 ec2:DescribeLaunchTemplateVersions 권한을 주어 자동 확장할 수 있도록 한다. 또한 Cluster Autoscaler 가 EC2 ASG 를 자동으로 검색하도록 하려면 autoscaling:DescribeTags 의 권한도 부여하는 것이 좋다.</p><p>그리고 Tag 기반으로 ASG 를 발견하도록 설정하려면, 기존에 존재하는 Auto Scaling Group의 Tag 에 미리 k8s.io/cluster-autoscaler/enabled 와 k8s.io/cluster-autoscaler/&lt;YOUR CLUSTER NAME&gt; 의 Tag 를 달아서 Cluster Autoscaler 가 발견할 수 있도록 한다.</p><p>만약 IAM Role 을 Terraform 으로 생성하려면, <a href="https://www.terraform.io/docs/providers/aws/r/eks_cluster.html#enabling-iam-roles-for-service-accounts">이 문서</a>를 참조하여 생성하면 도움이 될 것이다.</p><h4>3. Create Cluster Autoscaler Using Helm Chart &amp; Value Configuration</h4><p>Cluster Autoscaler를 Helm Chart 로 설치하기 위해서, 살펴볼 몇 가지 value Setting 이 있다. AWS 에서 사용할 시 봐야할 값 설정은 다음과 같다.</p><p><strong>checkpoint</strong></p><ul><li>Cluster Autoscaler 가 자동으로 ASG 들을 발견하도록 하려면 , autoDiscovery.clustername : &lt;YOUR CLUSTER NAME&gt; 을 설정하여야 한다.</li><li>awsRegion=&lt;YOUR AWS REGION&gt; 를 통해 클러스터가 존재하는 region 으로 설정한다.</li><li>Helm Chart 에서 AWS IAM Role for service Account 를 위한 Kubernetes Service Account 를 자동으로 생성하도록 하려면, rbac.create : true 를 설정한다.</li><li>만약 ServiceAccount 가 기존에 우리가 Auto Scaling 을 위한 IAM Role 을 사용하기 위해서, Service Account Tag 에 serviceAccountAnnotations.eks.amazonaws.com/role-arn:&lt;YOUR AWS IAM ROLE ARN&gt; 이라는 값을 설정한다.</li><li>만약 클러스터가 Prometheus Operator 를 통해 모니터링 되고 있으면, Cluster Autoscaler 는 Autoscaling 에 관련된 Status metric 을 전송할 수 있다.</li><li>만약 이러한 메트릭이 Prometheus operator 를 통해 자동으로 전송되게 하고 싶으면, serviceMonitor.enabled: true 를 설정하고, serviceMonitor.namespace: &lt;Prometheus Operator 가 설정된 namespace&gt; 와 serviceMonitor.selector: &lt;PROMETHEUS OPERATOR LABEL SELECTOR&gt; 를 Helm Chart 에 설정하면 된다.</li><li>어떠한 메트릭이 제공되는지 보고 싶다면 이 <a href="https://github.com/kubernetes/autoscaler/blob/master/cluster-autoscaler/proposals/metrics.md">github</a> 를 참조하면 된다.</li></ul><p><strong>cluster-autoscaler-config.yml 예시</strong></p><pre>autoDiscovery:<br># Only cloudProvider `aws` and `gce` are supported by auto-discovery at this time<br># AWS: Set tags as described in <a href="https://github.com/kubernetes/autoscaler/blob/master/cluster-autoscaler/cloudprovider/aws/README.md#auto-discovery-setup">https://github.com/kubernetes/autoscaler/blob/master/cluster-autoscaler/cloudprovider/aws/README.md#auto-discovery-setup</a><br>  clusterName: eks-cluster-name<br>  tags:<br>  - k8s.io/cluster-autoscaler/enabled<br>  - k8s.io/cluster-autoscaler/{{ .Values.autoDiscovery.clusterName }}<br>  - kubernetes.io/cluster/{{ .Values.autoDiscovery.clusterName }}</pre><pre>autoscalingGroups: []<br># At least one element is required if not using autoDiscovery<br>  # - name: asg1<br>  #   maxSize: 2<br>  #   minSize: 1<br>  # - name: asg2<br>  #   maxSize: 2<br>  #   minSize: 1</pre><pre>autoscalingGroupsnamePrefix: []<br># At least one element is required if not using autoDiscovery<br>  # - name: ig01<br>  #   maxSize: 10<br>  #   minSize: 0<br>  # - name: ig02<br>  #   maxSize: 10<br>  #   minSize: 0</pre><pre># Required if cloudProvider=aws<br>awsRegion: ap-northeast-2<br>awsAccessKeyID: &quot;&quot;<br>awsSecretAccessKey: &quot;&quot;</pre><pre># Required if cloudProvider=azure<br># clientID/ClientSecret with contributor permission to Cluster and Node ResourceGroup<br>azureClientID: &quot;&quot;<br>azureClientSecret: &quot;&quot;<br># Cluster resource Group<br>azureResourceGroup: &quot;&quot;<br>azureSubscriptionID: &quot;&quot;<br>azureTenantID: &quot;&quot;<br># if using AKS azureVMType should be set to &quot;AKS&quot;<br>azureVMType: &quot;AKS&quot;<br>azureClusterName: &quot;&quot;<br>azureNodeResourceGroup: &quot;&quot;<br># if using MSI, ensure subscription ID and resource group are set<br>azureUseManagedIdentityExtension: false</pre><pre># Currently only `gce`, `aws`, `azure` &amp; `spotinst` are supported<br>cloudProvider: aws</pre><pre># Configuration file for cloud provider<br>cloudConfigPath: /etc/gce.conf</pre><pre>image:<br>  repository: k8s.gcr.io/cluster-autoscaler<br>  tag: v1.14.6<br>  pullPolicy: IfNotPresent<br>  ## Optionally specify an array of imagePullSecrets.<br>  ## Secrets must be manually created in the namespace.<br>  ## ref: <a href="https://kubernetes.io/docs/tasks/configure-pod-container/pull-image-private-registry/">https://kubernetes.io/docs/tasks/configure-pod-container/pull-image-private-registry/</a><br>  ##<br>  # pullSecrets:<br>  #   - myRegistrKeySecretName</pre><pre>tolerations: []</pre><pre>## Extra ENV passed to the container<br>extraEnv: {}</pre><pre>extraArgs:<br>  v: 4<br>  stderrthreshold: info<br>  logtostderr: true<br>  # write-status-configmap: true<br>  # leader-elect: true<br>  # skip-nodes-with-local-storage: false<br>  # expander: least-waste<br>  # scale-down-enabled: true<br>  # balance-similar-node-groups: true<br>  # min-replica-count: 2<br>  # scale-down-utilization-threshold: 0.5<br>  # scale-down-non-empty-candidates-count: 5<br>  # max-node-provision-time: 15m0s<br>  # scan-interval: 10s<br>  # scale-down-delay: 10m<br>  # scale-down-unneeded-time: 10m<br>  # skip-nodes-with-local-storage: false<br>  # skip-nodes-with-system-pods: true</pre><pre>## Affinity for pod assignment<br>## Ref: <a href="https://kubernetes.io/docs/concepts/configuration/assign-pod-node/#affinity-and-anti-affinity">https://kubernetes.io/docs/concepts/configuration/assign-pod-node/#affinity-and-anti-affinity</a><br>## affinity: {}</pre><pre>podDisruptionBudget: |<br>  maxUnavailable: 1<br>  # minAvailable: 2<br>## Node labels for pod assignment<br>## Ref: <a href="https://kubernetes.io/docs/user-guide/node-selection/">https://kubernetes.io/docs/user-guide/node-selection/</a><br>nodeSelector: {}</pre><pre>podAnnotations: {}<br>podLabels: {}<br>replicaCount: 1</pre><pre>rbac:<br>  ## If true, create &amp; use RBAC resources<br>  ##<br>  create: true<br>  ## If true, create &amp; use Pod Security Policy resources<br>  ## <a href="https://kubernetes.io/docs/concepts/policy/pod-security-policy/">https://kubernetes.io/docs/concepts/policy/pod-security-policy/</a><br>  pspEnabled: false<br>  ## Ignored if rbac.create is true<br>  ##<br>  ## Annotations for the Service Account<br>  ##<br>  serviceAccountAnnotations:<br>    eks.amazonaws.com/role-arn: arn:aws:iam::8888888888888:role/eks-cluster-autoscaler-role</pre><pre>resources: {}<br>  # limits:<br>  #   cpu: 100m<br>  #   memory: 300Mi<br>  # requests:<br>  #   cpu: 100m<br>  #   memory: 300Mi</pre><pre>priorityClassName: &quot;&quot;</pre><pre># Defaults to &quot;ClusterFirst&quot;. Valid values are<br># &#39;ClusterFirstWithHostNet&#39;, &#39;ClusterFirst&#39;, &#39;Default&#39; or &#39;None&#39;<br># autoscaler does not depend on cluster DNS, recommended to set this to &quot;Default&quot;<br># dnsPolicy: &quot;Default&quot;</pre><pre>service:<br>  annotations: {}</pre><pre>## List of IP addresses at which the service is available<br>  ## Ref: <a href="https://kubernetes.io/docs/user-guide/services/#external-ips">https://kubernetes.io/docs/user-guide/services/#external-ips</a><br>  ##<br>  externalIPs: []</pre><pre>loadBalancerIP: &quot;&quot;<br>  loadBalancerSourceRanges: []<br>  servicePort: 8085<br>  portName: http<br>  type: ClusterIP</pre><pre>spotinst:<br>  account: &quot;&quot;<br>  token: &quot;&quot;<br>  image:<br>    repository: spotinst/kubernetes-cluster-autoscaler<br>    tag: 0.6.0<br>    pullPolicy: IfNotPresent</pre><pre>## Are you using Prometheus Operator?<br>serviceMonitor:<br>  enabled: true<br>  interval: &quot;10s&quot;<br>   # Namespace Prometheus is installed in<br>  namespace: prometheus-operator<br>   ## Defaults to whats used if you follow CoreOS [Prometheus Install Instructions](<a href="https://github.com/helm/charts/tree/master/stable/prometheus-operator#tldr">https://github.com/helm/charts/tree/master/stable/prometheus-operator#tldr</a>)<br>   ## [Prometheus Selector Label](<a href="https://github.com/helm/charts/tree/master/stable/prometheus-operator#prometheus-operator-1">https://github.com/helm/charts/tree/master/stable/prometheus-operator#prometheus-operator-1</a>)<br>   ## [Kube Prometheus Selector Label](<a href="https://github.com/helm/charts/tree/master/stable/prometheus-operator#exporters">https://github.com/helm/charts/tree/master/stable/prometheus-operator#exporters</a>)<br>  selector:<br>    release: dev-v01</pre><pre>## String to partially override cluster-autoscaler.fullname template (will maintain the release name)<br>nameOverride: &quot;&quot;</pre><pre>## String to fully override cluster-autoscaler.fullname template<br>fullnameOverride: &quot;&quot;</pre><pre># Allow overridding the .Capabilities.KubeVersion.GitVersion (useful for &quot;helm template&quot; command)<br>kubeTargetVersionOverride: &quot;&quot;</pre><p><strong>Installation</strong></p><p>다음 명령어를 통해 Cluster Autoscaler 를 설치한다.</p><p>helm install — name cluster-autoscaler — namespace autoscaler -f cluster-autoscaler-config.yml stable/cluster-autoscaler</p><p>이렇게 EKS worker node 의 Autoscaling 을 어떻게 설치하는지 알아보았다. 사실 별로 설치하는 것은 어렵지 않다. 실제로 Cluster Autoscaler 가 어떻게 동작하는지에 대한 자세한 설명은 <a href="https://m.blog.naver.com/alice_k106/221844020229">다른 블로거 분</a>이 좀 더 자세하게 설명해 주신 곳이 있으니 그 부분을 참고하면 좋을 것 같다.</p><p>참고 자료: steven 님의 <a href="https://github.com/stevenshim/eks-hands-on/tree/master/description/part3/1.%20IAM%20role%20for%20service%20account">Github Link</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=c3bbb0d44d1b" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[EKS AutoScaling 하기 Part 1 — Horizontal Pod Autoscaler With Custom Metrics]]></title>
            <link>https://medium.com/@tkdgy0801/eks-autoscaling-%ED%95%98%EA%B8%B0-part-1-horizontal-pod-autoscaler-with-custom-metrics-2274566463f9?source=rss-45ed95f05115------2</link>
            <guid isPermaLink="false">https://medium.com/p/2274566463f9</guid>
            <category><![CDATA[kubernetes]]></category>
            <category><![CDATA[aws]]></category>
            <category><![CDATA[autoscaling]]></category>
            <category><![CDATA[aws-eks]]></category>
            <dc:creator><![CDATA[SangHyo Han]]></dc:creator>
            <pubDate>Mon, 17 Feb 2020 12:48:08 GMT</pubDate>
            <atom:updated>2020-04-27T03:30:14.071Z</atom:updated>
            <content:encoded><![CDATA[<h3>EKS AutoScaling 하기 Part 1 — Horizontal Pod Autoscaler With Custom Metrics</h3><h3>Horizontally autoscale Kubernetes deployments on custom metrics</h3><p>Kubernetes 를 조금 다뤄보신 분들은 Kubernetes 의 HPA 설정을 하는 CRD 가 존재한 다는 것을 아마 아실 것이다.</p><p>하지만 Autoscaling 에 제공되는 Metric 개수는 매우 적어서, 우리의 불만을 사게 한다.</p><p>만약 Pod Autoscaling 을 Prometheus 에서 제공하는 메트릭을 사용하여 하면 어떨까? 각 Pod 에 맞는 상황에 대해 Autoscaling 을 Custom 하게 꾸밀 수 있을 것이다. 이번 글에서는 Prometheus 에서 제공하는 Metric 을 통해 Pod Autoscaling 을 Custom 하게 할 수 있는 방법을 알아보자.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*YoP3W0MAfqXbjc8m-o2Jnw.png" /></figure><p>Kubernetes 외에 Prometheus 에서 제공하는 metric 값을 통해서 HPA 를 하려면 Prometheus adapter 가 필요하다.</p><p>Prometheus-Adapter는 사용자 정의 Prometheus 쿼리를 사용하여 k8s 리소스 및 사용자 지정 메트릭 API를 만들어 준다.</p><p>Prometheus Adapter는 Custom Metrics를 별도의 API 서비스로서 Aggregation Layer에 등록한 뒤, 원하는 모니터링 데이터를 Prometheus로부터 PromQL의 형식을 통해 가져와 Custom Metrics API에 제공하는 역할을 담당한다.</p><p>즉 HPA가 Custom Metrics를 사용하기 위해서는 반드시 Prometheus Adapter가 필요하다.</p><h3>Prometheus Adapter 동작 방식</h3><p>Prometheus Adapter 동작 방식을 자세하게 알아보면, 다음과 같다.</p><ol><li>Prometheus Adapter 가 사용 가능한 Metric 을 발견한다.</li><li>발견 후 , 각 메트릭과 관련된 Kubernetes resource 를 파악한다.</li><li>그런 다음, 어떻게 Custom Metric 에 그 Metric 들이 노출이 되어야 하는지 정의를 내린다.</li><li>마지막으로, 실제 Metric Data 가 값이 얼마인지 Prometheus 에 직접 쿼리를 하여 알아낸다.</li></ol><p>한마디로, Prometheus Adapter 가 Prometheus 에 쿼리를 날린 후 , Kubernetes API 에 해당 데이터를 등록하여 HPA 에 사용할 수 있게 하는 방식이다.</p><p>또한 등록된 해당 API 는 Kubernetes-style quantity를 사용하여 metric 값을 설명한다.</p><p>예를 들면 가장 일반적으로 볼 수 있는 m 단위일 것이다. 이는 밀리 단위를 의미하는데, 지표가 core 의 사용 수일 경우, 500m 는 초당 0.5core 를 사용하는 것을 의미하며, 10500m 는 초당 10.5core 를 사용하고 있다는 의미이다.</p><h3>Prometheus Adapter 설치</h3><p><a href="https://github.com/helm/charts/tree/master/stable/prometheus-adapter">helm/charts</a></p><p>물론 Prometheus Adapter 를 사용하려면 기본적으로 Cluster 에 Prometheus 가 설치되어 있어야 한다.</p><p>Prometheus Adapter 를 쉽게 설치하기 위해 Helm Chart 형식으로 제작되어 있다.</p><p>이 Chart 를 사용할 때, Prometheus.URL 부분과 Prometheus.Port 가 Prometheus service endpoint 로 설정되어 있는지 확인하여 한다. 또한 chart 에는 기본 규칙들이 기본적으로 제공되지만 너무 많은 메트릭을 가져올 필요는 없으니, rules.custom 을 본인이 사용할 규칙 목록으로 채우는 것이 좋다.</p><h3>Custom Metrics 설정 방법</h3><p>이 옵션을 사용하면/apis/external.metrics.k8s.io/v1beta1에 외부 메트릭들이 제공된다. rules.default가 true 인 경우 기본적으로 사용 가능하지만 rules.custom을 작성 하면 사용자 정의한 대로 metirc 을 설정할 수 있다..</p><pre>rules:<br>  custom:<br>  - seriesQuery: &#39;{__name__=~&quot;^some_metric_count$&quot;}&#39;<br>    resources:<br>      template: &lt;&lt;.Resource&gt;&gt;<br>    name:<br>      matches: &quot;&quot;<br>      as: &quot;my_custom_metric&quot;<br>    metricsQuery: sum(&lt;&lt;.Series&gt;&gt;{&lt;&lt;.LabelMatchers&gt;&gt;}) by (&lt;&lt;.GroupBy&gt;&gt;)</pre><h3>External Metrics 설정 방법</h3><p>이 옵션을 사용하면/apis/external.metrics.k8s.io/v1beta1. 에 외부 메트릭들이 제공된다. rules.external 옵션을 enable하면 적용된다.</p><pre>rules:<br>  external:<br>  - seriesQuery: &#39;{__name__=~&quot;^some_metric_count$&quot;}&#39;<br>    resources:<br>      template: &lt;&lt;.Resource&gt;&gt;<br>    name:<br>      matches: &quot;&quot;<br>      as: &quot;my_external_metric&quot;<br>    metricsQuery: sum(&lt;&lt;.Series&gt;&gt;{&lt;&lt;.LabelMatchers&gt;&gt;}) by (&lt;&lt;.GroupBy&gt;&gt;)</pre><p>Custom Metric 을 정의하였으면 나머지 default 로 제공되는 Prometheus Adapter value.yml 파일을 참고하여 작성하면 된다.</p><p>여기서 중요한 것은 Prometheus url 설정 방법인데, Cluster 마다 Prometheus URL 설정이 다르니 참고하여 작성하면 된다.</p><pre># Default values for k8s-prometheus-adapter.<br>affinity: {}</pre><pre>image:<br>  repository: directxman12/k8s-prometheus-adapter-amd64<br>  tag: v0.5.0<br>  pullPolicy: IfNotPresent</pre><pre>logLevel: 4</pre><pre>metricsRelistInterval: 1m</pre><pre>nodeSelector: {}</pre><pre>priorityClassName: &quot;&quot;</pre><pre># Prometheus URL 설정 방법 *중요*<br># Url to access prometheus<br># in our cluster case, you should configure prometheus service dns name.<br># example: {prometheus-svc-name}.{where-prometheus-installed-namespace}.svc.cluster.local <br># port: {where prometheus exposes port}<br>prometheus:<br>  url: {svc-dns}<br>  port: 9090</pre><pre>replicas: 1</pre><pre>rbac:<br>  # Specifies whether RBAC resources should be created<br>  create: true</pre><pre>serviceAccount:<br>  # Specifies whether a service account should be created<br>  create: true<br>  # The name of the service account to use.<br>  # If not set and create is true, a name is generated using the fullname template<br>  name:</pre><pre>resources: {}<br>  # requests:<br>  #   cpu: 100m<br>  #   memory: 128Mi<br>  # limits:<br>  #   cpu: 100m<br>  #   memory: 128Mi</pre><pre>rules:<br>  default: true<br>  custom: []<br># - seriesQuery: &#39;{__name__=~&quot;^some_metric_count$&quot;}&#39;<br>#   resources:<br>#     template: &lt;&lt;.Resource&gt;&gt;<br>#   name:<br>#     matches: &quot;&quot;<br>#     as: &quot;my_custom_metric&quot;<br>#   metricsQuery: sum(&lt;&lt;.Series&gt;&gt;{&lt;&lt;.LabelMatchers&gt;&gt;}) by (&lt;&lt;.GroupBy&gt;&gt;)<br>  # Mounts a configMap with pre-generated rules for use. Overrides the<br>  # default, custom, external and resource entries<br>  existing:<br>    external: []<br># - seriesQuery: &#39;{__name__=~&quot;^some_metric_count$&quot;}&#39;<br>#   resources:<br>#     template: &lt;&lt;.Resource&gt;&gt;<br>#   name:<br>#     matches: &quot;&quot;<br>#     as: &quot;my_external_metric&quot;<br>#   metricsQuery: sum(&lt;&lt;.Series&gt;&gt;{&lt;&lt;.LabelMatchers&gt;&gt;}) by (&lt;&lt;.GroupBy&gt;&gt;)<br> resource: {}<br>#   cpu:<br>#     containerQuery: sum(rate(container_cpu_usage_seconds_total{&lt;&lt;.LabelMatchers&gt;&gt;}[3m])) by (&lt;&lt;.GroupBy&gt;&gt;)<br>#     nodeQuery: sum(rate(container_cpu_usage_seconds_total{&lt;&lt;.LabelMatchers&gt;&gt;, id=&#39;/&#39;}[3m])) by (&lt;&lt;.GroupBy&gt;&gt;)<br>#     resources:<br>#       overrides:<br>#         instance:<br>#           resource: node<br>#         namespace:<br>#           resource: namespace<br>#         pod_name:<br>#           resource: pod<br>#     containerLabel: container_name<br>#   memory:<br>#     containerQuery: sum(container_memory_working_set_bytes{&lt;&lt;.LabelMatchers&gt;&gt;}) by (&lt;&lt;.GroupBy&gt;&gt;)<br>#     nodeQuery: sum(container_memory_working_set_bytes{&lt;&lt;.LabelMatchers&gt;&gt;,id=&#39;/&#39;}) by (&lt;&lt;.GroupBy&gt;&gt;)<br>#     resources:<br>#       overrides:<br>#         instance:<br>#           resource: node<br>#         namespace:<br>#           resource: namespace<br>#         pod_name:<br>#           resource: pod<br>#     containerLabel: container_name<br>#   window: 3m</pre><pre>service:<br>  annotations: {}<br>  port: 443<br>  type: ClusterIP</pre><pre>tls:<br>  enable: false<br>  ca: |-<br>    # Public CA file that signed the APIService<br>  key: |-<br>    # Private key of the APIService<br>  certificate: |-<br>    # Public key of the APIService<br># Any extra volumes<br>extraVolumes: []<br>  # - name: example-name<br>  #   hostPath:<br>  #     path: /path/on/host<br>  #     type: DirectoryOrCreate<br>  # - name: ssl-certs<br>  #   hostPath:<br>  #     path: /etc/ssl/certs/ca-bundle.crt<br>  #     type: File</pre><pre># Any extra volume mounts<br>extraVolumeMounts: []<br>  #   - name: example-name<br>  #     mountPath: /path/in/container<br>  #   - name: ssl-certs<br>  #     mountPath: /etc/ssl/certs/ca-certificates.crt<br>  #     readOnly: true</pre><pre>tolerations: []</pre><pre># Annotations added to the pod<br>podAnnotations: {}</pre><p>value.yml 파일을 전부 작성 후 Helm 을 사용하여 Prometheus Adapter 를 설치한다. 나의 경우에는 adapter 설정을 default 로 해놓았기 때문에 대부분의 Prometheus metric 을 활용할 수 있다. 만약 추가로 필요한 메트릭이 있으면 위에 작성해놓은 방법으로 추가하면 된다.</p><pre>###########install###########  <br>$ helm install --name prometheus-adapter -f prometheus-adapter.yml --namespace autoscaler stable/prometheus-adapter</pre><pre><br>###########upgrade########### <br>$ helm upgrade adapter -f prometheus-adapter.yml stable/prometheus-adapter</pre><h3><strong>Prometheus Adapter 설정 확인</strong></h3><p>만약 모든 설정이 끝났다면, 우리가 등록한 Custom metric API 가 Kubernetes 상에 현재 존재할 것이다.</p><p>이 데이터를 Fetching 하기 위해 다음 명령어를 사용하여 확인할 수 있다.</p><pre>$ kubectl get --raw /apis/custom.metrics.k8s.io/v1beta1</pre><p>익숙한 Prometheus 메트릭이 보이면 아마 성공한 것이다! 앱의 메트릭을 수집하도록 Prometheus를 설정 했으므로 pods / http_request 리소스 같은 Custom metric 이 표시될 것이며. 이를 사용하여 HorizontalPodAutoscaler가 Pod Autoscaling 을 수행할 것이다.</p><p>다음 명령어들을 사용하여 내 클러스터에서 HPA 에 사용할 수 있는 메트릭을 알아낼 수 있는데, 몇가지 예시를 통해 어떤 방식으로 동작하는지 알아볼 수 있다.</p><pre>############Example ############  </pre><pre>$ k get --raw &quot;/apis/custom.metrics.k8s.io/v1beta1/namespaces/autoscaler/pods/*/http_request” </pre><pre>$ k get --raw &quot;/apis/custom.metrics.k8s.io/v1beta1/namespaces/prometheus-operator/pods/*/process_cpu&quot; </pre><pre>$ k get --raw &quot;/apis/custom.metrics.k8s.io/v1beta1/namespaces/*/metrics/kube_deployment_status_replicas_unavailable&quot; </pre><pre>$ k get --raw &quot;/apis/custom.metrics.k8s.io/v1beta1/namespaces/monitoring/pods/{{pod_id}}/cpu_usage&quot; </pre><pre>$ k get --raw &quot;/apis/custom.metrics.k8s.io/v1beta1/namespaces/prometheus-operator/pods/{{pod_id}}/cpu_usage&quot;</pre><h3>Horizontal Pod Autoscaler 설정하기</h3><p>이제 API 가 잘 동작한다는 것을 확인한 후, 실제로 HPA 를 설정하기 위해 HPA CRD 를 생성하여 동작을 관찰해 보는 것이 가능하다.</p><pre>######hpa-test.yml###########</pre><pre>apiVersion: autoscaling/v2beta1<br>kind: HorizontalPodAutoscaler<br>metadata:<br>  name: grafana-hpa<br>spec:<br>  scaleTargetRef:<br>    apiVersion: extensions/v1beta1<br>    kind: Deployment<br>    name: {{해당 네임스페이스에 있는 deployment 단위 service}}<br>  minReplicas: 1<br>  maxReplicas: 5<br>  metrics:<br>  - type: Pods<br>    pods:<br>      metricName: kube_deployment_status_replicas<br>      targetAverageValue: 2</pre><pre>$ k apply -f hpa-test.yml<br><br>####check hpa#######<br><br>$ k get hpa<br><br>########it takes some time to show target value.############<br><br>NAME       REFERENCE       TARGETS   MINPODS   MAXPODS   REPLICAS   <br>hpa-test   Deployment/test 1m/100m   1         10        1</pre><p>여기서 사용한 Metric 이 잘 동작하는 것을 확인하기 위해, 다른 부하 테스트 Tool 을 사용하거나 Target Value 의 Condition 을 이용해 HPA 가 잘 동작하는지 확인해 볼 수 있다.</p><p>Prometheus Autoscaler 는 사실 설치하는 데는 문서만 조금 읽어보면 가능하지만, 어떤 Prometheus 의 Custom metric 을 사용하여 HPA 를 설정하는 것은 운영 담당자의 노하우가 필요한 부분이다.</p><p>Prometheus Adapter 를 사용하여 운영자가 좀 더 Kubernetes 내의 Pod HPA 에 대한 고민을 쉽게 해결하였으면 좋겠다.</p><p>앞으로 작성할 Part2 는 EKS 에서 새로 출시한 IAM for ServiceAccount를 사용한 Cluster Autoscaler 를 어떻게 적용하는지에 대해 다룰 예정이다.</p><p><strong>Part 2 Link</strong> : <a href="https://medium.com/p/c3bbb0d44d1b?source=post_stats_page---------------------------">EKS AutoScaling 하기 Part 2 — IAM Role for Service Account &amp; EKS Cluster Autoscaler</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=2274566463f9" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[대학생도 딸 수 있는 AWS Solutions Architect Associate 시험 후기]]></title>
            <link>https://medium.com/@tkdgy0801/%EB%8C%80%ED%95%99%EC%83%9D%EB%8F%84-%EB%94%B8-%EC%88%98-%EC%9E%88%EB%8A%94-aws-solutions-architect-associate-%EC%8B%9C%ED%97%98-%ED%9B%84%EA%B8%B0-baee6e8aec62?source=rss-45ed95f05115------2</link>
            <guid isPermaLink="false">https://medium.com/p/baee6e8aec62</guid>
            <category><![CDATA[aws-solutions-architect]]></category>
            <category><![CDATA[aws-korea]]></category>
            <category><![CDATA[study]]></category>
            <category><![CDATA[aws-certification]]></category>
            <category><![CDATA[aws]]></category>
            <dc:creator><![CDATA[SangHyo Han]]></dc:creator>
            <pubDate>Sun, 01 Dec 2019 15:31:36 GMT</pubDate>
            <atom:updated>2020-05-14T12:24:15.067Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*40QLvAgku1U_-M_P.png" /><figcaption>이제 Pro를 목표로….!</figcaption></figure><h3>AWS SA 자격증을 준비하면서..</h3><p>나는 대학교에서 프로젝트를 할 때도, 대부분의 서비스를 AWS 로 구성할 정도로 AWS 를 좋아하는 사람 중 한명이었다.</p><p>그러다가 우연한 기회로 AWS SA 인턴을 준비하면서부터 아무 생각없이 사용했던 AWS 서비스에 대해 좀 더 자세하게 알게 되었으며, AWS 가 인증하는 다양한 자격증이 있다는 얘기를 듣고 약 2–3개월동안 AWS Architecture 공부를 꾸준히 하면서 시험을 준비하게 되었다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*9hvbR1rpP-lbi1EJ.jpeg" /><figcaption>노트북에 스티커를 붙이고 싶다는 욕망도 있었다….</figcaption></figure><p>학생이 부담하기엔 조금 비싼 비용(약 19만원)과, 개인적인 일들이 겹쳐 시험 신청을 미루고 있었는데, 이번에 일하게 된 회사의 팀원 분들이 심심해서(?)자격증 시험을 본다는 얘기를 듣고, 큰맘 먹고 19만원의 비용을 투자하여 시험을 보게 되었다.</p><p>AWS 시험들은 시험을 보자마자 바로 결과가 나오는, 매우 잔인한 시험이다. 만약 보러 갔다가 떨어지면 19만원이 말 그대로 증발하는 장면을 눈앞에서 볼 수도 있기 때문에, 시험을 신청한 후에 정말 떨어지지 않으려고 필사적으로 공부했다.</p><p>정말 시험 전까지 밤을 새면서 열심히 공부한 끝에, 내 19만원이 아깝지 않게 아쉽지 않은 점수로 합격을 하였다.</p><p>이 시험에 도전하면서, 내가 어떻게 공부했는지, 어떤 부분을 집중적으로 봤는지에 대해 나처럼 이 시험을 도전하는 대학생들을 위해 이 후기 글을 작성한다.</p><h3>준비</h3><ul><li>아예 AWS 에 관한 전반적인 지식이 없다면, 생활코딩에서 진행하는 <a href="https://opentutorials.org/course/2717">아마존 웹 서비스(AWS)</a> 의 동영상 강의를 추천한다. 만약 여기 수업조차 이해가 힘들다고 하면, 생활코딩에서 AWS 강의를 듣기전에 추천하는<a href="https://opentutorials.org/course/1688/9483"> 네트워크 강의</a> 를 먼저 듣고 오는 것을 추천한다.</li></ul><p>참고로 이 수업이나 차후에 AWS 서비스 공부를 할 때 소량의 과금이 붙을 수 있는데, 대학생 분들은 내가 작성한 <a href="https://medium.com/@tkdgy0801/%ED%95%99%EC%83%9D%EB%93%A4%EC%9D%84-%EC%9C%84%ED%95%9C-aws-educate-credit-%EB%B0%9B%EB%8A%94-%EB%B2%95-2fc5909a465d">학생들을 위한 300$ AWS Educate Credit 받는 법</a> 을 참고해서 크레딧을 받아서 사용하면 된다. (역시 아마존)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/600/0*4SDAVRd8FsSeIC4Y.png" /></figure><ul><li>이 수업을 다 수강했으면, 이제 AWS 서비스에 대해 약간의 감이 올 것이다. 이후에 보면 좋은 참고 자료는 이재홍님이 무료로 공개하신 <a href="http://pyrasis.com/book/TheArtOfAmazonWebServices"><strong>아마존 웹 서비스를 다루는 기술</strong></a> 책을 추천한다.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/640/0*hW7udlO0d3YJuSkC.png" /></figure><p>이 책은 현재 인터넷에 무료로 공개되어 있으며, 상세하고 쉬운 설명과 여러 실습 자료들이 나와 있으니, 직접 AWS 서비스들을 만들면서 각 서비스들이 어떤 역할을 하는지, 구조가 어떻게 되는지 쉽게 이해할 수 있다.</p><h3>본격적인 시험 준비</h3><ul><li>이제 이 수업들을 수강하고, 몇번씩 실습을 해 보았으면 전반적인 AWS 서비스에 대해 약간이나마 이해할 수 있을 것이다. 만약 실습을 하면서 제대로 이해가 잘 가지 않는다면,<a href="http://slack.awskr.org/"> AWS Korea User Group Slack 채널</a>에 물어보면 여러 능력자<em>(고인물)</em>들이 많은 도움을 주신다.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*yqvvrkpQYh6k6m3V.png" /></figure><ul><li>그리고 카카오톡 오픈 채팅에 <a href="https://open.kakao.com/o/gMCqYXxb">AWS 자격증 공부 모임 오픈 톡방</a>이 있다. 나는 여기에서 모르는 문제들을 물어보고, 실제 보신분들의 후기를 들으면서 어떻게 공부해야 하는지에 대해 많은 도움을 받았다. 오픈 채팅에 AWS GCP 클라우드 라고 검색하면 바로 찾을 수 있다.</li><li>AWS Solutions Architect 시험 준비 자료중 가장 세세하게 정리가 잘 되있는 아마 도현님이 작성하신 <a href="https://github.com/serithemage/AWSCertifiedSolutionsArchitectUnofficialStudyGuide">비공식 AWS 공인 솔루션스 아키텍트 — 어소시에이트 시험 가이드</a> 가 가장 유명하다.</li></ul><p>이 자료에는 AWS 관련 기본적인 시험 정보와 어떻게 공부해야하는지에 대해 매우 자세하게 설명해 놓으셧기 때문에, 사실상 대부분의 시험 준비 공부는 이 자료를 참조하여 공부했던 것 같다.</p><p>이 Github Page 에는</p><ul><li>기본적인 시험 정보, 시험 요령</li><li>AWS 공식 문서 링크( 영역별)</li><li>Solutions Architect 워크샵에서 소개된 링크들</li><li>시험에 자주 나오는 서비스들</li><li>시험 관련 공식 문서 요약&amp; 정리</li></ul><p>등 대부분의 정보가 다 한꺼번에 들어있다.</p><p>나는 여기에 소개된 AWS 관련 글들을 읽고 정리하면서 AWS Architecture 에 대한 전반적인 정보를 얻고, 개인 계정으로 실습하면서 이 Architecture 구성을 만들어보았다.</p><p>그리고 AWS 에서 제공하는 <a href="https://d1.awsstatic.com/whitepapers/AWS_Cloud_Best_Practices.pdf"><strong>Architecting for the Cloud</strong></a><strong> </strong>문서를 한번 정도는 읽어보는 것을 추천한다. 이 글에는 AWS 에서 서비스를 디자인 할 때 필요한 Key Concept 와 기존 환경과의 차이점을 알려주기 때문에, 한번 읽으면 AWS 의 Architecture 설계 철학이 어떤지 좀 더 상세하게 알 수 있다.</p><h3>연습 문제 풀면서 실전 준비하기</h3><p>이제 어느정도 백서를 읽으면서 공부를 했으면, 실제로 Solutions Architect 연습 문제를 풀어보면서 시험이 어떤 구성으로 나오는지 감을 익힐 차례이다. 시험 문제들은 주로 2가지 유형이 많이 등장한다.</p><ul><li>어떤 서비스를 사용해야 이 문제를 해결할 수 있는지에 대한 단답형 문제</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/674/1*g4AaHnyJjxHgW9iK6MXhWg.png" /><figcaption>정답은 몇번일까?</figcaption></figure><ul><li>주로 어떤 상황이 주어지고 , 그 상황에 대해 여러 복합적인 AWS 서비스들을 사용하여 어떤 Architecture를 구성하면 되는지에 대한 문제</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/688/1*sZeCP_mQKp9k9yOvL1ubVg.png" /><figcaption>정답은 몇번일까?</figcaption></figure><p>한마디로 AWS 서비스들을 그냥 사용하기만 하면 절때 모르는 문제들이 주로 나온다. 그래서 나는 시험 문제를 최대한 많이 풀어보고 내가 부족한 부분을 따로 공부하는 식으로 실전 시험을 대비하였다.</p><ul><li>우선 아마존에서 무료로 제공하는 <a href="https://d1.awsstatic.com/training-and-certification/docs-sa-assoc/AWS_Certified_Solutions%20Architect_Associate_Feb_2018_Sample%20Questions_v1.0.pdf">Solutions Architect 연습 문제</a>가 있다. 구버전과 신버전이 있는데, 두 문제지를 모두 풀어보면서 어떤 식으로 문제가 나오는지 실습해보면 좋다.</li><li>나의 경우에는 문제들을 다 풀어본 후 공부한거에 비해 너무 점수가 처참하게 나와 충격을 좀 받았다. 그래서 더 많은 문제를 풀어보기 위해 <strong>Udemy </strong>에서 판매하는<a href="https://www.udemy.com/course/aws-certified-solutions-architect-associate-amazon-practice-exams/"> Practice Exam을 구매</a>하여 좀 더 많은 문제를 풀어보았다.</li><li>가격도 세일할 때 구매하면 약 만원 정도에 살 수 있고, 문제도 실전 문제랑 비슷하게 출제하여 준비하는데 많은 도움이 되었다. 우선 답안 해설서가 충실하여 내가 선택한 정답이 왜 아닌지에 대해서도 상세하게 설명해 주는 것이 맘에 들었다. 또한 문제도 65문제 * 7회 분량이라 충분하게 공부할 수있었던 것이 장점이다.</li></ul><p>가장 중요한 것은 이렇게 모의고사들을 풀어보면서 그냥 계속 푸는것 보다, 본인이 틀린 부분에 대해서 <strong>AWS 에서 제공하는 </strong><a href="https://aws.amazon.com/ko/faqs/"><strong>FAQ 문서</strong></a>들을 무조건!!!! <strong>몇번씩 정독</strong>해서 읽어보는 게 가장 중요하다.</p><p>모든 문제들은 AWS FAQ 기반으로 출제되기 때문에 내가 틀린 부분에 대해서 가장 빨리 이해할 수 있는 것은 FAQ 문서를 읽어보는 게 좋다. 모든 AWS FAQ 문서들을 전부 읽는 것도 좋지만, 사실 그러기에는 너무나 방대한 양의 문서이기 때문에 나는 자주 틀리는 서비스들을 위주로 문서들을 읽고 정리하였다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/897/1*XYR4DmOoYzoffG2jGYWf6g.png" /><figcaption>물론 문서의 양은 매우 방대하다.</figcaption></figure><p>FAQ 문서를 읽고 다시 문제를 풀면 문제들이 요구하는 사항에 대해 좀 더 쉽게 이해할 수 있고, 내가 선택하는 답에 좀 더 확신이 담기는 것을 느낄 수 있을 것이다.</p><h3>실제 시험 후기 + 이모저모</h3><p>나는 송파구 문정동에 위치한 SRTC 시험 센터에서 시험을 봤다. 생각보다 보안 검사가 까다로운데, 안경, 주머니 검사는 물론이고 개인 소지품들은 전부 밖에 락커에 보관하게 했다. 그리고 1시 시험이지만 1시 전에 도착하여도 그냥 시험을 볼 수 있도록 안내해 주었다.</p><p>나의 경우 시험 신청을 한글로 해서 번역 문제에 대해 좀 고민이 있었는데, 문제를 풀 때 한글과 영어 두가지의 번역을 모두 제공해 줘서 한글의 변역이 좋지 않은 경우에는 영어로 변환해서 풀었다.</p><p>난이도는 Udemy 와 비슷한 수준이었고, 모의고사에서 나왔던 문제들이 그대로 나온 경우도 있었다. 나의 경우 65문제 중에 13–15문제 정도를 Flag 를 달았고, 이걸 검토하니 대략 남은 시간이 20분-30분 정도 남았던 것 같다.</p><p>문제 비중은 우선 모의고사랑 비슷한 비율로 비중이 나왔으며, 기억나는 문제는</p><ul><li>API Gateway 구성 문제</li><li>Nat Gateway 와 Nat instance 문제</li><li>EBS volume type 선택하는 문제</li><li>S3 content 보안을 위해 사용하는 암호화 기법 및 Presigned Url 사용 문제</li><li>S3 의 적절한 Type 을 사용해서 저장 비용을 절감시키는 문제</li></ul><p>들이 기억에 남는다.</p><p>문제를 전부 풀면 시험에 대한 만족도 조사가 나오며, 만족도 조사가 끝나면합격했는지 아닌지에 대한 여부가 바로 나온다. 물론 나는 합격하였다!!!</p><h4>진짜 합격 후기….</h4><p>사실 공부하면서도 합격하지 못할까봐 정말 피말리면서 공부를 했다. 시험은 둘째치고 시험 비용이 너무 비싸 합격하지 못하면 맨탈이 나갈꺼 같아 더욱 더 열심히 공부를 했던거 같다.</p><p>이 시험 준비를 하면서 내가 AWS 서비스에 대해 막연하게 이해하고 있던 것이 좀 더 자세하고, 구체적으로 이해하게 되는 계기가 되어 정말 많은 도움이 되었다. 특히 구조 설계를 어떻게 하면 좋은지에 대한 많은 공부를 했던 것 같다.</p><p>이 Solutions Architect Associate 자격증이 대단한 건 아니지만, 그래도 내가 어느정도 AWS 서비스에 대해 전반적으로 이해하고 있다는 약간의 증명이 되었다는 것에 만족하고, 한번에 합격해서 뭔가 다른 자격증도 쉽게(?) 딸 수 있을 꺼 같은 자신감이 생겨서 좋은 것 같다.</p><p>마지막으로 자격증 인증!</p><figure><img alt="https://cdn-images-1.medium.com/max/800/1*uKlFIgrh5_4TkCx_A3qTHg.png" src="https://cdn-images-1.medium.com/proxy/1*uKlFIgrh5_4TkCx_A3qTHg.png" /></figure><p>AWS SA 자격증 준비하시는 분들 모두들 화이팅!!!</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=baee6e8aec62" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Amazon EKS 로 시작하는 Kubernetes — Intro]]></title>
            <link>https://medium.com/@tkdgy0801/amazon-eks-%EB%A1%9C-%EC%8B%9C%EC%9E%91%ED%95%98%EB%8A%94-kubernetes-intro-83fd3ef2f10e?source=rss-45ed95f05115------2</link>
            <guid isPermaLink="false">https://medium.com/p/83fd3ef2f10e</guid>
            <category><![CDATA[basics]]></category>
            <category><![CDATA[ek]]></category>
            <category><![CDATA[containers]]></category>
            <category><![CDATA[kubernetes]]></category>
            <category><![CDATA[aws]]></category>
            <dc:creator><![CDATA[SangHyo Han]]></dc:creator>
            <pubDate>Sat, 16 Nov 2019 12:09:32 GMT</pubDate>
            <atom:updated>2019-11-18T01:22:09.216Z</atom:updated>
            <content:encoded><![CDATA[<h3>Amazon EKS 로 시작하는 Kubernetes — Intro</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/800/0*UMjrNKkR3x5cn-j2.jpg" /></figure><h4>kubernetes 시대의 도래</h4><p>마이크로 서비스 아키텍쳐론이 도입되고, Docker 가 보편화되면서, 슬슬 단순 개념에서 발전하여 Docker 자체를 어떻게 운영해야 하는지에 대한 여러 방법론들이 도래하기 시작했다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*qVMdJbPWzwT2AsYpQ0TBKQ.png" /></figure><p>이렇게 좋은(?)도커를 열심히 공부하고, 사용해서 우리가 서비스를 만들어서 우리가 가지고 있는 서버에 잘 배포하고, 서비스가 완벽하게 잘 돌아가는 것을 확인한 뒤, 퇴근했다고 가정한다. 그런데 만약 이런 상황이 벌어진다면?</p><ul><li>우리 서버 컴퓨터가 갑자기 미쳐서 지멋대로 다운되버린 경우?</li><li>만약 우리 서버 컴퓨터는 멀쩡한데, 컨테이너들이 멀쩡하지 않다면? 만약 근데 그 사태가 새벽 3시쯤 발생했고, 우리가 다시 출근해서 Docker run 을 실행해야 한다면?</li></ul><p>하지만 사실 지금 든 예시의 문제에 대한 대처는 정말 많을 수 있다. 이러한 컨테이너 환경은 기존의 legacy 환경과 운영 방법이 다르기 때문에 , 기존의 솔루션을 도입한다고 해도 사실 그리 효율적이지 않다. 이러한 여러 이유 때문에 현재 Kubernetes 같은 <strong>Container Orchestration Tools</strong> 이 등장하게 된 계기가 되었다.</p><h4>도데체 그럼 Kubernetes 가 뭔데?</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*xIVvfrl_Wq8IuDFZ.png" /></figure><p>정말 간단하게 한마디로 Kubernetes 를 설명하면, Docker 같은 컨테이너 방식의 아키텍쳐들을 쉽게 배포하고, 운영을 도와주는 오케스트레이션 도구라고 말할 수 있다.</p><p>Docker 같은 컨테이너들을 기존에 존재하는 온프레미스 환경에서 직접 빌드하고 띄워서 하나하나 접속해서 관리를 하는 것이 아니라, 운영자가 어떤 컨테이너 서비스에 대한 정의를 한 후에 자동으로 적당한 서버를 선택해 어플리케이션을 배포하고 부하나 문제가 생기면 컨테이너를 늘리고 줄이거나 아니면 재배포하는 방식으로 서비스의 <strong>가용성</strong>을 보장하는 것이다.</p><h3>쿠버네티스의 장점</h3><h4>CNCF 의 근본 — Kubernetes</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*fGoo8nA9vShepCjI.png" /></figure><p>나도 사실 쿠버네티스 공부를 하면서 CNCF 라는 단체를 처음 들어보았다. CNCF 는 <a href="https://www.cncf.io/">CNCF(Cloud Native Computing Foundation</a>) 의 약자이며, 이름 그대로 클라우드 관련 기술과 관련된 표준형을 개발하려는 재단이다. 이 재단에서 사용하는 모든 기술과 경험들은 전부 Kubernetes를 기반으로 만들어졌으며, 정말 우리가 상상하는 대부분의 클라우드 네이티브 환경 어플리케이션을 Kubernetes 내에서 사용할 수 있다.</p><h4>다양한 배포 방식</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*t04LQ45B6aRj3dhZ.png" /></figure><p>Kubernetes 는 정말 많은 방식의 배포 방식을 지원한다. 몇가지 예시를 들어보면, deployment, replicaset, statefulset, job, CRD 등 정말 수십가지의 종류의 배포 방식을 지원한다.</p><p>Deployment 만 해도 새로운 버전의 어플리케이션을 여러 배포 전략(canary, Rollingupdate)를 사용할 수 있으며, 로그나 모니터링을 위해 모든 노드에 설치가 필요할 경우 Demonset을 활용하여 어플리케이션을 배포할 수 있다. 정말 우리가 필요한 모든 전략들을 Kubernetes 가 준비해 놨으니, 열심히 공부해서 써먹기만 하면 된다.</p><h4>다양한 Public Cloud 지원</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/474/0*JTQLcxmeq-THxPQH.png" /></figure><p>Kubernetes 는 다양한 퍼블릭 클라우드 업체들을 지원하기 때문에 (사실 근본은 Google이다), Cloud Controller 를 사용하여 여러 퍼블릭 클라우드 간 연동을 손쉽게 확장할 수 있다.</p><p>또한 이러한 다양한 클라우드 업체에서 동일한 동작을 하도록 모듈을 제공하여 관리자가 같은 설정 파일을 사용하여 서로 다른 클라우드에서 똑같은 환경을 손쉽게 재연해낼 수 있다.</p><h4>Namespace &amp; Labeling</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*UU7ooW5PiCFLp3nT" /></figure><p>사실 Kubernetes 를 사용하면서 가장 편리하다고 생각했던 기능 중 하나다. 하나의 클러스터 내에서 우리가 배포한 서비스들을 Node 단위 (VM 서버 단위라고 가정)로 관리하는 것이 아니라, 논리적인 단위로 분류하여 여러 Namespace 나, Label 로 분류하여 관리할 수 있다.</p><p>이러한 라벨링은 Kubernetes 내에서 매우 중요한 역할을 담당하는데, 어떤 서비스를 배포할 때 Label 이나 Namespace 기준으로 배포되는 경우가 매우 많기 때문이다.</p><p>쉽게 이해하기 위해서, 위에 사진을 보면서 설명하면, 만약 내가 Frontend 라는 Label 을 가진 모든 Pod 를 버전 업그레이드 하고 싶으면, 그냥 app=frontend 라는 라벨을 가진 모든 Pod 를 Version 3으로 변경해! 라고 명령어를 날리면 정말 간단하게 버전 업그레이드가 끝나버린다.</p><p>만약 아까 설명했던 온프레미스 환경에서 Frontend 의 기능을 하는 Container 를 버전 업그레이드 한다고 한다면, 컨테이너를 전부 일일히 중지시키고 다시 그걸 실행시키는 그만큼 귀찮은 일을 안해도 된다는 것이다! <em>개좋아</em></p><h3>Kubernetes 기본 개념 및 Architecture</h3><p>지금까지 Kubernetes 의 장점을 얘기했지만, 사실 Kubernetes 의 단점이 하나 있다. 진짜 처음 배우려는 사람들한테는 개념을 쉽게 이해하기가 힘들다는 것이다.</p><p>사실 알고나면(?) Kubernetes가 동작하는 기본 개념은 그리 어렵지 않다. 다음 그림을 보면서 머리속에 조금만 그려보면 진짜 쉽게 이해할 수 있다.</p><h4>Desired state = current state</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*goCFi4Yy-42wJPAa.png" /></figure><p>Kubernetes 에서 가장 중요한 개념은 바로 Desired State 이다. Desired state를 직역하면 원하는 상태인데, 원하는 상태라는 것은 우리가 관리하고 있는 이 환경이 <strong>어떤 상태로 유지가 되고 싶은지</strong>에 대한 정의라고 할 수 있다.</p><p>Kubernetes 는 지속적으로 현재 우리의 Kubernetes 환경을 모니터링하면서 우리가 원하는 Desired State 를 유지하고, 그 Desired State를 달성하기 위해 안에서 여러 작업을 하는 , 정말 단순한 논리 구조를 가지고 동작한다.이런 Desired State 때문에, 우리가 만약 Container 를 배포할 때는 직접 “만들어라!” 라는 명령을 사용하지 않고 “이 상태로 유지해 줘” 라는 명령을 사용한다.</p><p>간단하게 예를 들면 우리가 웹 서버 역할을 하는 컨테이너 하나를 띄우려고 한다.</p><ol><li>우리가 Kubernetes 에 “웹 서비스 역할(app=web)을 하는 컨테이너 하나를 유지해 줘” 라고 Kubernetes 에게 얘기한다.</li><li>“컨테이너 하나를 유지해 줘” 라는 명령을 들은 Kubernetes 는 현재 클러스터에 웹 서비스 역할(app=web)을 하는 컨테이너가 있는 지 확인한다.</li><li>만약 웹 서비스의 역할을 하고 있는 컨테이너가 존재하면, 쿠버네티스는 컨테이너를 띄우지 않을 것이고, 존재하지 않는다면, 이 우리가 원하는 State (Desired State)를 유지하기 위해 바로 컨테이너를 하나 준비해서 Kubernetes Cluster 안에 띄운다.</li><li>참 쉽죠?</li></ol><p>이러한 Desired State 는 Kubernetes의 핵심이며, 쿠버네티스를 사용하려면 어떤 상태가 있는지, 어떤 상태를 정의해야 하는지에 대해 알아야 한다.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=83fd3ef2f10e" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Prometheus 를 이용한 모니터링 — Part 1]]></title>
            <link>https://medium.com/@tkdgy0801/prometheus-%EB%A5%BC-%EC%9D%B4%EC%9A%A9%ED%95%9C-%EB%AA%A8%EB%8B%88%ED%84%B0%EB%A7%81-part-1-69de3e87d427?source=rss-45ed95f05115------2</link>
            <guid isPermaLink="false">https://medium.com/p/69de3e87d427</guid>
            <category><![CDATA[monitoring]]></category>
            <category><![CDATA[grafana]]></category>
            <category><![CDATA[study]]></category>
            <category><![CDATA[prometheus]]></category>
            <category><![CDATA[prometheus-training]]></category>
            <dc:creator><![CDATA[SangHyo Han]]></dc:creator>
            <pubDate>Sun, 29 Sep 2019 07:29:36 GMT</pubDate>
            <atom:updated>2020-04-25T13:09:37.247Z</atom:updated>
            <content:encoded><![CDATA[<h3>Prometheus 를 이용한 모니터링 — Part 1</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*_Ucs1-iWIgtDpuGJ_-3vkQ.png" /></figure><p>Kubernetes 환경에 들어오면서, 전체 인프라 환경과 Application 에 대한 모니터링을 하는 것이 매우 중요해졌다. 인프라에 대한 전체적인 가시성을 확보해야 Kubernetes 내에 돌아가는 Application 에 대한 가용성과 안정성을 확보할 수 있으며, 더 나아가 이러한 모니터링 결과를 통해 고도화된 Cloud Native 시스템을 구축할 때 사용하는 지표로 활용할 수 있다.</p><p>이번 글에서는 모니터링 아키텍쳐에 대한 간단한 Intro 와, Kubernetes 에서 가장 많이 사용되고 있는 Prometheus에 대해 알아보려고 한다.</p><h3><strong>Change of Monitoring Architecture</strong></h3><h4>Legacy environment</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/789/1*bJc3GSRxcD90mZUsboaemg.png" /></figure><ul><li>기존 레거시 환경은 고사양의 서버에 application을 크게 운영하는 방식으로 운영되었다.</li><li>따라서, 고 사양의 서버에 Monitoring Agent를 서버에 설치 한 후, Agent 가 Os 의 메트릭을 수집하여 backend 에 직접 전송하는 방식을 사용하였다.</li></ul><h4>Cloud Native Environment</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/847/1*uWBRLUx52hINqY3CECFnLw.png" /></figure><ul><li>이에 반해, Cloud Native 환경에서는 Container 기반의 Application 을 작게 운영하고 필요할 때마다 확장, 파괴하는 방식을 선택한다.</li><li>동적으로 확장하는 서버에 agent를 일일이 설치 불가능하므로, kubernetes api를 통해 동적으로 확장된 서버 endpoint를 discovery 하는 방식으로 운영된다.</li><li>이후에 Monitoring backend에서 discovery 한 endpoint 를 통해 metric을 수집한다.</li></ul><h3><strong>Kubernetes Monitoring Pipeline</strong></h3><p>Kubernetes 의 모니터링 파이프라인은 2가지로 나눌 수 있는데, Kubernetes 관련 구성 요소를 관리하는 Core Metric Pipeline과 Monitoring 으로 나눌 수 있다.</p><h4>Core Metric Pipeline</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*mR3yw0bZQzwoxTVWqlKP6g.png" /></figure><ul><li>Core Metric Pipeline 은 쿠버네티스 관련 구성 요소를 직접 관리하는 파이프라인이다.</li><li>kubelet, metrics-server, metric API 등등으로 구성되어 있으며, 쿠버네티스의 핵심 동작 요소에 대한 모니터링을 담당하고, 현재 상태가 Desired State가 되는 것을 모니터링한다.</li><li>Kubelet 에 저장된 cadvisor 를 통해 노드/포드/컨테이너의 사용량 정보를 수집하며, 동적으로 확장 된 노드에 관련된 정보도 같이 수집한다.</li><li>Kubelet 에 저장된 정보는 metric server가 수집하여 메모리에 저장한다. 이때, 메모리에 저장하기 때문에 짧은 기간의 데이터만 저장한다.</li><li>이렇게 저장된 정보는 Kubernetes Master Metric API를 통해 다른 시스템 component가 조회 가능하게 한다.</li></ul><h4>Monitoring Pipeline</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*W83y72_MD-Kd89fBvMS69A.png" /></figure><ul><li>이 그림에서 파란색으로 써져 있는 부분이 Monitoring Pipeline 이며, Monitoring Pipeline은 Kubernetes에서 제공하는 기본 메트릭 외에 다양한 메트릭을 수집한다. 특히, 클러스터 사용자들이 필요한 모니터링을 하는데 사용된다.</li><li>이 모니터링 파이프라인은 시스템 메트릭과 서비스 메트릭을 동시에 수집 가능도록 설계되었다.</li><li>쿠버네티스에서는 모니터링 파이프라인은 직접 관리하지 않기 때문에, 사용자가 직접 설치하여 Monitoring 파이프라인을 구축해야한다. 주로 cAdvisor + Heapster + InfluxDB조합이 가장 많이 쓰였으나, 프로젝트가 중단되어 현재는 cAdvisor + Prometheus 조합이 가장 많이 쓰인다.</li></ul><h3><strong>Prometheus Overview</strong></h3><h4>What is Prometheus?</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/320/0*Qat4flC5IwoCqgZx.png" /></figure><ul><li>Prometheus 는 현재 Kubernetes 상에서 가장 많이 사용하는 오픈 소스 기반 모니터링 시스템이다.</li><li>CNCF 에 소속되어 있으며, Kubernetes 클러스터 및 Docker 컨테이너들를 손쉽게 모니터링 가능하다.</li><li>간단한 텍스트 형식으로 메트릭을 쉽게 노출 가능하며, 데이터 모델은 key-value 형태로 레이블을 집계한 후 , Grafana같은 대시 보드 시스템에서 그래프로 쉽고 간단하게 Dashboard 를 만들 수 있다.</li><li>또한 이해하기 쉬운 PromQL 쿼리 언어를 사용하여 간단하게 경고와 Ruleset을 정의 가능하다.</li></ul><h4>Prometheus Architecture</h4><p>대부분의 모니터링 도구가 Push 방식 즉, 각 서버에 클라이언트를 설치하고 이 클라이언트가 메트릭 데이터를 수집해서 서버로 보내면 서버가 모니터링 상태를 보여주는 방식을 취한다.</p><p>하지만 Prometheus는 Pull 방식을 사용하여, 서버에 클라이언트가 떠 있으면 서버가 주기적으로 클라이언트에 접속해서 데이터를 가져오는 방식을 취한다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*tHxrGpEUte5iz8IVKAhyfQ.png" /></figure><ul><li>Service discovery : Prometheus는 기본적으로 모니터링 대상 목록을 유지하고 있으며, 대상에 대한 ip나 기타 접속 정보를 설정 파일에 주어서 모니터링 정보를 가져오는 방식을 사용한다.</li><li>이러한 환경을 대처하기 위해 서비스 디스커버리를 사용하지만, 오토스케일링을 하는 환경에서는 ip가 동적으로 변경되는 경우가 많기 때문에 , 모니터링 대상이 등록되어 있는 저장소에서 목록을 받아서 그 대상을 모니터링하는 형태를 취한다. ex) kubelet</li><li>Push gateway : Pushgateway는 쉽게말해 Proxy Forwarding을 해서 접근할 수 없는 곳에 데이터가 존재하는 경우에 사용할 수 있는 대안이다. application 이 pushgateway 에 메트릭을 push한 후, prometheus server 가 pushgateway 에 접근해 metric 을 pull 해서 오는 방식으로 동작한다.</li><li>Exporter &amp; job: Exporter 는 Prometheus 에게 메트릭을 가져가도록 특정 Service 에 metric 을 노출하게 하는 Agent 라고 이해하면 편하다.</li><li>Exporter 는 서버 상태를 나타내는 Node exporter , SQL Exporter 등 다양한 커스텀 exporter 이 개발되어 사용되고 있으며, 이러한 Exporter를 사용하여 metric 을 Prometheus 에 긁어가도록 할 수 있다.</li><li>Alert manager: Alert manager 는 metric 에 대한 어떠한 지표 를 걸어놓고 그 규칙을 위반하는 사항에 대해 알람을 전송하는 역할을 한다.</li><li>Data visualiztion: Data visualiztion은 다양한 모니터링 Dashboard 를 위한 visualization 을 제공한다. 주로 Prometheus 가 수집한 데이터에 대한 외부 시각화 툴 및 api를 제공하는 역할을 한다.</li></ul><p>지금까지 기존의 모니터링 시스템과 Cloud native 환경의 모니터링이 어떻게 차이 나는지, Prometheus에 대한 간단한 개요 및 아키텍쳐에 대해 알아보았다.</p><p>다음 Part 2는 Prometheus 가 다른 모니터링 시스템에 비해 어떤 장점이 있는지, Prometheus 에서 가장 많이 사용하는 visualization Tool 인 Grafana에 대해 알아보려고 한다.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=69de3e87d427" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[AWS Solutions Architect — Associate certificate Study — 공식 문서 정리 Part 3]]></title>
            <link>https://medium.com/@tkdgy0801/aws-solutions-architect-associate-certificate-study-%EA%B3%B5%EC%8B%9D-%EB%AC%B8%EC%84%9C-%EC%A0%95%EB%A6%AC-part-3-b14f3e4005b?source=rss-45ed95f05115------2</link>
            <guid isPermaLink="false">https://medium.com/p/b14f3e4005b</guid>
            <category><![CDATA[aws-service]]></category>
            <category><![CDATA[cloud-computing]]></category>
            <category><![CDATA[aws]]></category>
            <category><![CDATA[study]]></category>
            <category><![CDATA[aws-certification]]></category>
            <dc:creator><![CDATA[SangHyo Han]]></dc:creator>
            <pubDate>Thu, 22 Aug 2019 09:14:42 GMT</pubDate>
            <atom:updated>2020-07-20T08:08:53.858Z</atom:updated>
            <content:encoded><![CDATA[<h3>AWS Solutions Architect — Associate certificate Study — 공식 문서 정리 Part 3</h3><p>비공식 AWS Solutions Architect — Associate(2018년 2월 출시) 수험 가이드 (<a href="http://bit.ly/saaguide">bit.ly/saaguide</a>)를 기반으로 공부하고 있습니다.</p><p>이번 Part 는 <strong>영역 3 : 안전한 애플리케이션 및 아키텍쳐 </strong>나머지 부분을 정리할 예정입니다.</p><p>2019/11/11 업데이트</p><h3><strong>[영역 3 : 안전한 애플리케이션 및 아키텍쳐]</strong></h3><h3>AWS IAM 모범사례</h3><h4>AWS 계정 루트 사용자 액세스 키 잠금</h4><ul><li>AWS 계정 루트 사용자 액세스 키는 사용하면 안된다.</li><li>만약 그 계정의 루트 액세스 키가 탈취되면 계정과 연관된 모든 정보, 신용카드, 결제 정보 등 대부분의 정보가 털리기 때문에 보안을 위해 절때 루트 액세스키를 만들면 안된다.</li></ul><h4>개별 IAM 사용자 만들기</h4><ul><li>루트 자격 증명을 사용하여 액세스하는 것은 안되며, 관리자 IAM을 생성하여 액세스해야 하는 계정에 별도의 사용자 계정을 만드는 것이 권장된다.</li><li>또한 그룹을 사용하여 사용자 그룹에 대한 정의를 만들어 그룹 권한을 설정하는 것이 관리하기 더 편하다.</li><li>IAM 정책을 개인이나 그룹에 적용할 때는 작업 수행에 필요한 최소한의 권한을 주어 다른 서비스 접근을 못하게 한다.</li></ul><h4>액세스 레벨을 이용한 IAM 권한 검토</h4><ul><li>AWS은 작업 내용에 따라 각 서비스 작업을 다섯 개의 <em>액세스 레벨</em>, 즉 List, Read, Write, Permissions management, Tagging 중 하나로 분류한다. 이러한 액세스 레벨을 사용하여 어떤 작업을 정책에 포함할지 결정할 수 있다</li></ul><h4>권한 있는 사용자에 대해 MFA 활성화</h4><ul><li>보안을 강화하기 위해 중요한 리소스 또는 API 작업에 대해 액세스 권한이 부여된 IAM 사용자에 대해 멀티 팩터 인증(MFA)을 적용</li><li>가상 핸드폰이나 실제 디바이스가 코드 생성하면 그 번호를 입력해야 로그인할 수 있다.</li></ul><h4>AWS 계정의 활동 모니터링</h4><ul><li>AWS의 로깅 기능을 사용하여 사용자가 계정에서 수행한 작업과 사용한 리소스를 확인하여 보안 수준을 올린다.</li><li>로그 파일에는 작업 시간 및 날짜, 작업의 소스 IP, 부족한 권한으로 인해 실패한 작업 등이 나와 있다. 이러한 기록을 통해 비 정상적인 접근이 있는지 확인 가능하다.</li></ul><h3>보안 서비스 - <a href="http://docs.aws.amazon.com/ko_kr/AmazonVPC/latest/UserGuide/VPC_Introduction.html">Amazon Virtual Private Cloud(VPC)</a></h3><h4>Amazon VPC 개념</h4><ul><li><em>Virtual Private Cloud</em>(VPC)는 사용자의 AWS 계정 전용 가상 네트워크.</li><li>VPC는 AWS 클라우드에서 다른 가상 네트워크와 논리적으로 분리되어 있으며, Amazon EC2 인스턴스와 같은 AWS 리소스를 VPC에서 실행할 수 있다.</li><li>서브넷: VPC의 IP 주소 범위, 지정된 서브넷으로 AWS 리소스를 시작할 수 있다. 인터넷에 연결되어야 하는 리소스에는 퍼블릭 서브넷을, 인터넷에 연결되지 않는 리소스에는 프라이빗 서브넷을 사용한다.</li></ul><h4>인터넷 액세스</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/543/0*VnKovbHRasDM4-O7.png" /></figure><ul><li>기본적으로 기본이 아닌 서브넷에서 시작한 인스턴스는 프라이빗 IPv4 주소가 있으며, 시작 시 특별히 지정하지 않는 한 퍼블릭 IPv4 주소는 없다.이러한 인스턴스는 서로 통신할 수는 있지만 인터넷에 액세스할 수는 없다.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/601/0*DsbgaIjCdf_OuvIN.png" /></figure><ul><li>기본이 아닌 서브넷에서 시작한 인스턴스에 대해 해당 VPC에 인터넷 게이트웨이를 추가하고(해당 VPC가 기본 VPC가 아닐 경우) 인스턴스에 탄력적 IP 주소를 연결하여 인터넷 액세스를 가능하게 할 수 있다.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/592/0*-zc6jLC05M4I6mDi.png" /></figure><ul><li>원할 경우 IPsec AWS Site-to-Site VPN 연결을 사용하여 VPC를 회사의 데이터 센터에 연결함으로써 회사 데이터 센터를 AWS 클라우드로 확장할 수 있다.</li><li>Site-to-Site VPN 연결은 VPC에 추가된 가상 프라이빗 게이트웨이와, 데이터 센터에 위치하는 고객 게이트웨이로 구성된다.</li></ul><h3>‘핵심’ Amazon EC2 및 S3 보안 기능 집합</h3><h4><a href="https://docs.aws.amazon.com/ko_kr/AmazonS3/latest/dev/s3-access-control.html">Amazon S3 리소스에 대한 액세스 권한 관리</a></h4><ul><li>기본적으로 버킷, 객체 및 관련 하위 리소스를 비롯한 모든 amazon s3 리소스는 비공개이다. 즉, 리소스를 만든 AWS 계정인 리소스 소유자만 해당 리소스에 액세스 가능하다.</li><li>리소스 기반 정책, 사용자 정책 또는 이러한 정책의 조합을 사용하도록 선택하여 Amazon S3 리소스에 대한 권한을 관리할 수 있다.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/383/0*Nb6rNh--LBdrJcjr.png" /></figure><ul><li>ACL: 각 버킷과 객체마다 연결된 ACL이 존재, ACL로 다른 AWS 계정에 기본적인 읽기/쓰기 권한을 부여한다.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/599/1*dD_SeM-5RovSvVk1vQ5U7w.png" /><figcaption>ACL 예시</figcaption></figure><ul><li>버켓 정책 : 본인의 버킷에 한해 다른 AWS 계정이나 IAM 사용자에게 버킷과 버킷에 포함된 객체에 대한 권한을 부여하는 버킷 정책을 추가할 수 있다.</li><li>버킷 정책은 ACL 기반 액세스 정책을 보완하며 대부분의 경우 액세스 정책을 대신한다.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/583/1*RaQcvyaXbctjoYRrDTtcmQ.png" /><figcaption>버켓 정책 예시</figcaption></figure><ul><li>사용자 정책: IAM로 Amazon S3 리소스에 대한 액세스를 관리할 수 있다.</li><li>내 계정으로 IAM 사용자, 그룹, 역할을 만들고 액세스 정책을 연결하면 Amazon S3 등 AWS 리소스에 액세스 가능하다.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/371/0*PfCDCxx-xWW-ze_I.png" /></figure><ul><li>및에 예시로 든 정책은 연결된 사용자가 버킷과 버킷에 포함된 객체에 대해 6개의 Amazon S3 작업을 수행할 수 있도록 허용해 준다. 이 정책을 특정 IAM 사용자, 그룹 및 역할과 연결할 수 있다.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/588/1*1at5TEjlfVxGtVEu6nmk6Q.png" /></figure><ul><li>참고로 IAM role base control 을 충분히 숙지하고 보면 이해가 쉬울 것이다.</li></ul><h3>DDos 완화</h3><h4><a href="https://d0.awsstatic.com/International/ko_KR/whitepapers/DDoS_White_Paper.pdf">DDoS 대응을 위한 AWS 모범사례</a></h4><ul><li>DDoS 공격: 최종 사용자(End User)가 여러분의 웹 사이트나 어플리케이션을 이용할 수 없도록 만드는 것, 대표적으로 네트워크나 다른 자원들을 고갈시켜 사용자의 정당한 요청을 처리할 수 없게끔 만들어 버림.</li><li>DDoS 공격은 Open Systems Interconnection (OSI) 모델의 3,4,6,7 계층에서 가장 흔하게 이루어 짐.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/654/1*N79_38z5U4SgKP-Rh0KKlQ.png" /></figure><ul><li>인프라 계층 공격: UDP 증폭 공격, SYN flood 공격을 통해 네트웍이나 서버, 방화벽, IPS, 로드 밸런서 등의 시스템 용량을 넘어서는 많은 양의 트래픽을 발생시킨다.</li><li>공격자는 요청자의 정보를 임의로 변경하여 서버로부터 더 큰 응답이 돌아가도록 조작할 수 있다.</li><li>예시로 , DNS 서버로 64 바이트의 요청 페이로드를 보내는 경우, 공격 대상은 3400 바이트의 원하지 않는 트래픽을 받게 된다.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/436/1*HzR4oM0OMBdvqNoAWalf5Q.png" /></figure><ul><li>SYN flood 의 경우, ‘Half-Open’ 상태로 연결을 유지하도록 하여 시스템의 가용한 리소스를 고갈시키는 방식을 사용한다. 마지막 ACK를 리턴하지 않게 하여 응답을 지속적으로 고갈시키는 역할을 한다.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/394/1*4nUNTmRkY5PUIwask4F07Q.png" /></figure><ul><li>응용 계층 공격: 어플리케이션의 특정 기능을 계속해서 호출하는 방식, 예로는 HTTP flood, cache-busting attack, WordPress XML-RPC flood 같은 것들이 있다.</li></ul><h4>완화 기법들</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/597/1*vhGb4N7PRXS94Y92AmW07Q.png" /></figure><ul><li>ELB 와 EC2 와 같은 AWS 리전 내부의 서비스들은 해당 리전 내에서 예상치 못한 트래픽의 볼륨을 다룰 수 있게끔, 확장하는 방식으로 DDoS 대응력을 확보할 수 있다.</li><li>Amazon CloudFront, AWS WAF, Amazon Route 53, Amazon API Gateway 같은 엣지 로케이션에 제공되는 서비스를 이용하면, 글로벌 네트웤 커버리지를 이용하여 장애 대응력을 확보할 수 있다.</li><li>인스턴스 사이즈 조절: 필요한 만큼 인스턴스들을 어플리케이션 환경에 추가하는 방식으로 수평적으로 확장하거나,좀더 큰 인스턴스로 수직 확장시키는 방법을 선택할 수 있다.</li><li>엣지에서 도메인 이름 변환하기 : Amazon Route 53 은 셔플 샤딩과 애니캐스트 스트라이핑 기능을 사용하여, Route 53 이 DDoS 공격을 받더라도, 사용자가 여러분의 어플리케이션에 접근할 수 있게 해준다.</li><li>셔플샤딩: 위임 집합(delegation set) 내의 각 네임 서버들에 대해 엣지 로케이션들과 인터넷 경로들을 묶은 집합을 대응시켜주는 기능</li><li>공격 지점 줄이기: 리소스이 전혀 최종 사용자들과 직접적인 상호 작용을 하지 않는다면, 해당 리소스들이 인터넷과의 직접적인 접근을 갖지 않도록 해야함.</li><li>AWS 리소스 감추기: 대부분의 어플리케이션에서는 AWS 리소스들이 인터넷 상에 완전히 노출될 필요가 없다. 예를 들어, ELB 뒷 단에 있는 Amazon EC2 인스턴스들은 인터넷 상에서 바로 접근할 필요가 없다.</li><li>이런 구성은 Amazon Virtual Private Cloud(VPC) 내부의 보안 그룹(Security Group)과 네트웍 접근제어 목록(NCAL)을 설정하면 된다.</li><li>보안 그룹: 인터넷으로부터 보안 그룹으로의 모든 트래픽들은 여러분들이 명시적으로 해당 트래픽을 허용해주지 않으면 기본적으로 차단된다.</li><li>예를 들어, 하나의 ELB 와 여러 대의 Amazon EC2 인스턴스들로 웹 어플리케이션을 구성했을 때, ELB 에 적용할 단일 보안 그룹(‘ELB 보안 그룹’)을 적용할 지, 인스턴스 별로 여러 개의 서로 다른 보안 그룹(‘웹 어플리케이션 서버 보안 그룹’)을 적용할 지는 결정해야 한다.</li><li>API 엔드 포인트를 보호하기: Amazon API Gateway 를 이용하게 되면, API 의 앞 단에 별도의 서버를 구성할 필요가 없으며, 어플리케이션 구성 요소들을 외부에서 잘 안보이도록 감출 수 있게 된다.</li><li>Amazon API Gateway 는 Amazon CloudFront 와 연계되어 있으며, 서비스가 자체적으로 DDoS 대응력을 갖출 수 있게끔 해주는 이점을 줄 수 있다.</li><li>운영 기법들- 가시성: Amazon CloudWatch 를 통해, AWS 상에서 운영되고 있는 어플리케이션들을 모니터링 할 수 있다.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/614/1*dtbXGfuNpD4D-ojCqqBslQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/616/1*0ciHNBj99goD87_QMcJs9g.png" /></figure><ul><li>어플리케이션에 대한 DDoS 공격을 탐지하는 용도로 Amazon CloudWatch 를 사용하는 방법에 대한 자세한 내용은<a href="https://docs.aws.amazon.com/ko_kr/AmazonCloudWatch/latest/monitoring/GettingStarted.html"> Getting Started with Amazon CloudWatch</a>를 참고.</li><li>VPC Flow logs: VPC Flow Logs 를 이용한다면, VPC 내의 네트웍 인터페이스들을 통해 주고받는 IP 트래픽에 대한 정보를 얻을 수 있다.</li></ul><h3>암호화 솔루션</h3><h4>AWS에서의 저장 데이터 암호화</h4><ul><li>암호화에 필요한 3가지 요소: 1.암호화할 데이터, 2.데이터를 암호화하는 방법 (암호화 알고리즘), 3.데이터 및 알고리즘과 함께 사용될 암호화 키</li><li>AWS 의 암호화 방식 3가지</li><li>사용자가 암호화 방법 및 전체 KMS를 제어</li><li>사용자가 암호화 방법을 제어하고, AWS가 KMS 스토리지 구성 요소를 제공하고, 사용자가 KMS 관리 계층을 제공</li><li>AWS가 암호화 방법 및 전체 KMS를 제어</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/481/1*3d-wQWn8jdh52PgY7m3WTw.png" /></figure><h4>사용자가 암호화 방법 및 전체 KMS 제어</h4><ul><li>Amazon S3 : 사용자가 원하는 모든 암호화 방법을 사용하여 데이터를 암호화한 다음, Amazon Simple Storage Service(S3) API를 사용하여 암호화된 데이터를 업로드</li><li>AWS SDK에 포함되어 있는 오픈 소스 API 세트를 활용하여 암호화 가능</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/629/1*7WVD_mC0bCU0A6rxp8C6fA.png" /></figure><ul><li>Amazon EBS: 인스턴스에 블록 디바이스로 제공되므로 파일 시스템 수준 또는 블록 수준 암호화를 위해 대부분의 표준 암호화 도구를 활용할 수 있다.</li></ul><h4>사용자가 암호화 방법 제어, AWS가 KMI 스토리지 구성 요소 제공 및 사용자가 KMS 관리 계층 제공</h4><ul><li>사용자가 암호화 방법을 관리한다는 점에서 모델 A와 유사하지만, 키를 사용자가 온프레미스에서 관리하는 키 스토리지 시스템이 아닌 AWS CloudHSM 에 저장한다는 점이 모델 A와 다르다.</li><li>HSM은 키 구성 요소를 생성하고 저장하는 데 사용할 수 있으며, 암호화 및 복호화 작업을 수행하지만, 키 수명 주기 관리 기능(예: 액세스 제어 정책, 키 로테이션)을 수행하지는 않는다.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/474/1*nwo3zvnDClI7gbvf0E0Adg.png" /></figure><h4>AWS가 암호화 방법 및 전체 KMS 제어</h4><ul><li>KMS: 관리형 암호화 서비스로, 키를 프로비저닝하고 사용하여 AWS 서비스에서 데이터 및 애플리케이션을 암호화하도록 해준다.</li><li>AWS KMS 및 데이터를 직접 암호화하는 기타 서비스는 봉투 암호화라는 방법을 사용하여 성능과 보안 간 균형을 유지</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/565/1*-PoLmh0foyvC45ltImIZTw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/548/1*cfmiProx91jsTFSQqzo5gQ.png" /></figure><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=b14f3e4005b" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[AWS Solutions Architect — Associate certificate Study — 공식 문서 정리 Part 2]]></title>
            <link>https://medium.com/@tkdgy0801/aws-solutions-architect-associate-certificate-study-%EA%B3%B5%EC%8B%9D-%EB%AC%B8%EC%84%9C-%EC%A0%95%EB%A6%AC-part-2-3775eb75230e?source=rss-45ed95f05115------2</link>
            <guid isPermaLink="false">https://medium.com/p/3775eb75230e</guid>
            <category><![CDATA[aws-service]]></category>
            <category><![CDATA[study]]></category>
            <category><![CDATA[cloud-computing]]></category>
            <category><![CDATA[aws-certification]]></category>
            <category><![CDATA[aws]]></category>
            <dc:creator><![CDATA[SangHyo Han]]></dc:creator>
            <pubDate>Tue, 13 Aug 2019 11:39:18 GMT</pubDate>
            <atom:updated>2019-08-21T02:59:47.549Z</atom:updated>
            <content:encoded><![CDATA[<h3>AWS Solutions Architect — Associate certificate Study — 공식 문서 정리 Part 2</h3><p>비공식 AWS Solutions Architect — Associate(2018년 2월 출시) 수험 가이드 (<a href="http://bit.ly/saaguide">bit.ly/saaguide</a>)를 기반으로 공부하고 있습니다.</p><p>이번 Part 는 <strong>영역 2: 성능이 뛰어난 아키텍처 정의 와 영역 3 : 안전한 애플리케이션 및 아키텍쳐 일부</strong>를 정리할 예정입니다.</p><p>2019/08/21 업데이트</p><h3>[영역 2 : 성능이 뛰어난 아키텍처 정의]</h3><h3>캐시 사용하기</h3><h4>AWS <a href="https://aws.amazon.com/ko/elasticache/faqs/">ElastCache FAQ</a></h4><ul><li>클라우드 상에 메모리 기반으로 구성된 데이터 스토어 또는 캐시를 쉽게 운영할 수 있는 서비스 — In-Memory 방식 사용</li><li>Memcached 및 Redis와 호환되는 프로토콜이므로 기존 Memcached 또는 Redis 환경에서 현재 사용하는 코드, 애플리케이션 및 주요 도구를 Amazon ElastiCache에서 문제없이 사용할 수 있다.</li><li>In-Memory : 방대한 양의 데이터를 하드디스크가 아닌 메모리에 보관, 실시간으로 분석하여 DB를 거치지 않고 즉시 얻을 수 있도록 함. 하드디스크에 비해 약 100배정도 속도 차이가 난다.</li></ul><h4>AWS CloudFront</h4><ul><li>Part 1 참조</li></ul><h3>Amazon Machine Image:AMI</h3><h4>AMI란?</h4><ul><li>인스턴스를 시작할 때 필요한 정보를 제공</li><li>AMI 생성 및 등록한 후 새 인스턴스 시작할 때 그 이미지를 사용할 수 있으며, 동일 리전 및 다른 리전에서도 사용할 수 있음.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/476/0*1F29Vet6vFhvaEdl.png" /></figure><ul><li>AMI를 퍼블릭으로 설정하여 외부와 공유할 수 있으며, AMI Marketplace에서 AMI를 판매할 수도 있다.</li></ul><h3>탄력성과 확장성</h3><h4><a href="https://www.youtube.com/watch?v=HI0fPiZpniY">천만 사용자를 위한 AWS 클라우드 아키텍처 진화하기 — 이창수 솔루션즈 아키텍트</a></h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*bBoJxakUmGvK8wx53CcZbw.png" /></figure><ul><li>AWS Cloud의 다양하고 폭 넓은 서비스로 사용자 인프라를 고려한 아키텍쳐를 설계할 수 있음.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*cv342F0r2gtTsMjWpOFb9w.png" /><figcaption>초기 서비스 제공 시</figcaption></figure><ul><li>EC2 인스턴스를 사용할 때 용도에 따라 기능을 분리 , 혹은 AWS의 여러 기능을 지원하는 서비스를 사용</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*4yhBvpi28W3K1uQwx4FQ1Q.png" /><figcaption>사용자가 1000명 이하일 때</figcaption></figure><ul><li>분산을 위해 ELB 사용 , Multi-AZ를 구성하여 가용성 확보 및 DB 이중화를 한다.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*oRjnKqDaxATOtCPxo3zE0A.png" /><figcaption>사용자가 만~10만 단위일 때</figcaption></figure><ul><li>기본 복제본과 읽기 전용 복제본 (Read Replica)를 사용하여 데이터 접근 부하를 줄인다.</li><li>또한 정적 컨텐츠를 S3와 CloudFront로 이동하여 부하를 분산시킨다.</li></ul><h3>[영역 3: 안전한 애플리케이션 및 아키텍처]</h3><h3>클라우드 보안 모범 사례 백서</h3><ul><li>IAM 서비스 사용 : IAM으로 사용자가 어떤 AWS 서비스와 리소스에 액세스할 수 있는지를 제어하는 암호, 액세스 키 및 사용 권한 정책과 같은 보안 자격 증명을 한 곳에서 관리할 수 있다.</li></ul><h4>인프라 서비스의 책임 분담 모델</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*cxt3w7vZIHr-Wp9gR1vE6Q.png" /></figure><ul><li>AWS 보안 글로벌 인프라를 바탕으로 자체 데이터 센터에서 온프레미스로 하는 것과 같은 방식으로 AWS 클라우드에서 운영 체제와 플랫폼을 설치 및 구성</li><li>불투명 계층에서 데이터 암호화 , 인증 등 추가로 보안을 요구할 수 있다.</li><li>AMI 에서 새 EC2 접속 키를 발급받으면 사용자는 이를 안전하게 보관해야 하며, AWS 내에서는 Private key가 저장되지 않는다.</li></ul><h4>컨테이너 서비스의 책임 분담 모델</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*yJjkELLAecxeIVOJHGPBog.png" /></figure><ul><li>AWS 가 플랫폼 및 애플리케이션 관리까지 함.</li><li>AWS 컨테이너 서비스의 경우 컨테이너 서비스 액세스를 위한 데이터와 방화벽 규칙에 대한 책임은 고객에게 있다.</li></ul><h4>AWS에서 자산 정의 및 분류</h4><ul><li>자산, 카테고리, 비용을 결정한 후, AWS에서 정보 보안 관리 시스템(ISMS)를 구현, 운영, 모니터링, 검토, 유지 보수, 개선하기 위한 표준을 설정</li><li>비즈니스 요건과 목표 ,사용하는 프로세스 ,조직의 크기와 구조에 따라 달라짐.</li></ul><h4>AWS에서 계정, IAM 사용자, 그룹, 역할 관리</h4><ul><li>Root 계정은 매우 강력한 권한이 있기 때문에 일반 업무 시 사용하지 않는 것을 권장한다.</li><li>IAM 사용자로 개별적인 사용자와 보안 그룹은 분리해 각 개인 그룹별 사용자로 구분하여 권한 제한을 하는 것이 좋음.</li><li>Amazon EC2의 IAM 역할 예시</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1022/1*sUFd0dqCCk04ZP00XXq3vg.png" /></figure><blockquote>1. 관리자는 IAM을 사용하여 Get-pics 역할을 만듭니다.</blockquote><blockquote>2. 이 역할에서 관리자는 Amazon EC2 인스턴스만 역할을 부여할 수 있는 것으로 규정하고 photos 버킷에 대한 읽기 권한만을 지정하는 정책을 사용합니다.</blockquote><blockquote>3. 개발자는 Amazon EC2 인스턴스를 시작하고 그 인스턴스에 Get-pics 역할을 연결합니다.</blockquote><blockquote>4. 애플리케이션을 실행하면 Amazon EC2 인스턴스의 인스턴스 메타데이터에서 자격 증명을 검색합니다.</blockquote><blockquote>5. 애플리케이션은 역할 자격 증명을 사용하여 읽기 전용 권한으로 photo 버킷에 액세스합니다.</blockquote><ul><li>ID 페더레이션 예시</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*NFhKTNFPOFmSgYfMHSTaIw.png" /></figure><blockquote>1. 엔터프라이즈 사용자가 자격 증명 브로커 애플리케이션에 액세스합니다.</blockquote><blockquote>2. 자격 증명 브로커 애플리케이션이 기업 자격 증명 스토어에 대해 사용자를 인증합니다.</blockquote><blockquote>3. 자격 증명 브로커 애플리케이션에 임시 보안 자격 증명을 만들 수 있도록 AWS Security Token Service(STS)에 액세스할 수 있는 권한이 있습니다.</blockquote><blockquote>4. 엔터프라이즈 사용자는 AWS API 또는 Management Console에 액세스할 수 있는 임시 URL을 받을 수 있습니다.</blockquote><h4>리소스 액세스 권한 부여</h4><ul><li>리소스 정책: 사용자가 리소스를 만든 다음 다른 사용자들에게 리소스에 대한 액세스 권한을 부여하는 경우에 적합 , 정책이 리소스에 연결되고 그 리소스로 어떤 작업을 할 수있는지 설명.</li><li>기능 정책: 회사 전체의 액세스 정책을 적용하는 데 사용. 기능 정책은 IAM 그룹을 사용하여 직접 또는 간접적으로 IAM 사용자에게 할당된다.</li></ul><p>나머지 자세한 사항은 백서를 <a href="https://d0.awsstatic.com/International/ko_KR/whitepapers/AWS_Security_Best_Practices_11052013.pdf">참조</a></p><h3>보안 프로세스의 개요</h3><h4>AWS 인프라 보안</h4><ul><li>물리적 및 환경적 보안 : AWS 직원의 데이터 센터에 대한 물리적인 접근은 모두 기록되며 정기적으로 감사를 받으며, 여러 안전 대책에 의해 데이터 센터가 안전하게 보호됨.</li><li>연속성 관리: 모든 데이터 센터는 온라인으로 고객에게 서비스를 제공하며, 어떤 데이터 센터도 “정지(cold)”되지 않음. 또한 전 세계에 데이터 센터가 분산되어 있어 높은 가용성을 가진다.</li><li>보안 네트워크 아키텍처: AWS는 DDOS, MITM, IP Spoofing, 포트 스캐닝 , 패킷 스니핑 등의 공격 방어를 위해 강력한 보안 결함 차단 방식을 지원.</li></ul><h4>AWS 계정 보안 기능</h4><ul><li>AWS IAM : AWS 계정 내에서 여러 사용자를 생성하고, 이러한 사용자 각각의 권한을 관리 , 임시 보안 자격 증명을 사용하여 제한된 시간 동안만 유효한 보안 자격 증명을 통해 보안 AWS 리소스에 대한 임시 액세스를 사용자에게 제공</li><li>AWS MFA: 표준 사용자 이름과 암호 자격 증명 외에 6자리 일회용 코드를 입력해야 고객의 AWS 계정 설정 또는 AWS 서비스 및 리소스 액세스 권한이 부여됨. 하드웨어 토큰 및 가상 MFA 디바이스의 사용을 모두 지원한다.</li></ul><h3>AWS 서비스별 보안</h3><h4>AWS EC2의 보안</h4><ul><li>Amazon EC2는 하이퍼바이저를 이용하며, Linux 게스트의 경우는 반가상화(paravirtualization)를 활용, 고급 권한에 대한 통제를 한다.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*saGA1-2ePU1JWRoJ7JaeLQ.png" /></figure><ul><li>하이퍼바이저를 통해 인스턴스는 물리적으로 상호 격리되어 보안성을 올린다.</li><li>가상 인스턴스는 오직 고객만 제어할 수 있으며 전체 루트 액세스 또는 관리 제어 권한을 가진다. AWS는 고객의 인스턴스 또는 게스트 OS에 대한 어떤 액세스 권한도 ,접근할 수도 없다.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Bf-UqPDDSPZv4AFgi2_-cQ.png" /></figure><ul><li>방화벽: EC2의 인바운드 방화벽은 기본적으로 ‘모두 거부’ 모드로 구성되며, 사용자가 인바운드 트래픽을 허용하는 데 필요한 포트를 임의로 개방해야 함.</li><li>예시: 웹 서버 그룹에는 인터넷에 개방된 포트 80(HTTP) 및/또는 포트 443(HTTPS)을 개방</li><li>애플리케이션 서버 그룹에는 웹 서버 그룹에만 액세스할 수 있는 8000번 포트로 구성</li><li>데이터베이스 서버 그룹에는 애플리케이션 서버 그룹에만 개방된 3306번 포트(MySQL)로 구성</li><li>세 그룹 모두 포트 22(SSH)에 대한 관리 액세스는 허용되나, 고객의 기업 네트워크에서만 가능하게 특정 IP 대역만 접속하도록 함.</li></ul><h4>Amazon EBS 보안</h4><ul><li>Amazon EBS의 볼륨에 대한 접근은 해당 볼륨을 생성한 AWS 계정 및 AWS IAM을 이용해 만든 AWS 계정 사용자로 제한되므로, 다른 모든 AWS 계정 및 사용자에게는 볼륨을 보거나 접근하는 권한이 거부된다.</li><li>Amazon EBS에 저장된 데이터는 정상적인 서비스를 위해 물리적으로 여러 지점에 중복 보관된다.</li></ul><h4>Amazon Elastic Load Balancing 보안</h4><ul><li>Elastic Load Balancing은 온프레미스 로드 밸런서의 모든 장점 이외에 여러 가지 보안상 이점을 제공한다.</li><li>EC2 인스턴스를 대신해 암호화 및 복호화 작업을 수행 및 로드 밸런서에서 중앙집중식으로 관리 가능</li><li>클라이언트에 단일 접점을 제공하며 네트워크 공격에 대한 1차 방어선의 역할도 수행</li><li>Amazon VPC를 사용하는 경우, Elastic Load Balancing과 연결된 보안 그룹의 생성 및 관리를 지원하여 추가적인 네트워킹 및 보안 옵션을 제공</li><li>보안(HTTPS/SSL) 연결을 사용하는 네트워크에서 종단 간 트래픽 암호화를 지원.</li></ul><h4>Amazon VPC 보안</h4><ul><li>Amazon VPC를 사용하면 AWS 클라우드의 격리된 부분을 만들고, 선택한 범위에 프라이빗 주소가 있는 Amazon EC2 인스턴스를 시작할 수 있다.</li><li>각 Amazon VPC에서의 네트워크 트래픽은 다른 모든 Amazon VPC와 격리됨.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*MEq-gJsVLP-y3R75Q_Fv0Q.png" /></figure><ul><li>Amazon VPC는 인스턴스의 진출입 트래픽을 모두 필터링할 수 있는 완전한 방화벽 솔루션을 지원</li><li>네트워크 ACL : Amazon VPC 내 서브넷에서 인바운드 또는 아웃바운드하는 모든 트래픽에 적용되는 상태 비저장 트래픽 필터. 이러한 ACL은 IP 프로토콜, 서비스 포트, 원본/대상 IP 주소에 따라 트래픽을 허용 또는 거부하는 규칙을 포함함.</li></ul><h4>Amazon S3 보안</h4><ul><li>Amazon S3에 저장된 데이터에 대한 액세스는 기본적으로 제한되며, 버킷 및 객체 소유자만 자신이 생성한 Amazon S3 리소스에 액세스할 수 있다.</li><li>객체 접근에 대한 엑세스 제어는 IAM, ACL , 버켓 정책으로 할 수 있으며, 특정 조건을 기준으로 특정 리소스에 대한 액세스를 추가로 제한할 수 있다.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*If8y31e0IJQRuLOyWyvlYA.png" /></figure><ul><li>데이터 저장 시 Amazon S3 암호화 클라이언트와 같은 클라이언트 암호화 라이브러리를 사용하여 데이터를 암호화한 후에 업로드할 수 있으며, 장기 저장 시 S3 버킷의 콘텐츠를 Glacier에 자동으로 보관할 수 있다.</li><li>Amazon S3는 연간 99.999999999%의 객체 내구성과 99.99%의 가용성을 제공하도록 설계되었으며, 버전 관리 및 액세스 로그 열람으로 추가적인 보안을 제공한다.</li></ul><h4>AWS Glacier 보안</h4><ul><li>Amazon Glacier는 파일을 아카이브 단위로 볼트 내에 저장.</li><li>특정한 간격으로 Glacier에 데이터를 전송하도록 S3를 설정할 수도 있으며, 더 높은 수준의 보안을 달성하기 위해 SSL 암호화 엔드포인트를 통해 Amazon Glacier에 안전하게 데이터를 업로드하거나 다운로드할 수 있다.</li></ul><h4>Amazon RDS 보안</h4><ul><li>Amazon RDS 내에서 처음 DB 인스턴스를 생성할 경우 DB 인스턴스에 대한 액세스를 제어하기 위해 Amazon RDS 안에서만 사용되는 마스터 사용자 계정을 만든다. 이후 추가로 계정 생성 가능</li><li>Amazon VPC에 배포된 DB 인스턴스는 VPN 또는 퍼블릭 서브넷에서 실행할 수 있는 배스천 호스트를 통해 VPC 외부의 Amazon EC2 인스턴스에서 액세스할 수 있다.</li><li>SSL을 사용하여 애플리케이션과 DB 인스턴스 사이의 연결을 암호화하여 보안 수준을 높일 수 있지만, DB 연결 지연시간을 늘리는 단점이 있다.</li><li>Amazon RDS는 DB 인스턴스 백업 및 복구를 위한 자동 백업 및 데이터베이스 스냅샷(DB 스냅샷)을 제공한다.</li></ul><h4>Amazon CloudFront 보안</h4><ul><li>Amazon CloudFront는 대상 API에 대한 모든 요청에 대해 인증을 요구하여 허가받은 사용자만 Amazon CloudFront에서 배포하는 정보를 생성, 변경, 또는 삭제할 수 있도록 한다.</li><li>Amazon CloudFront로부터 콘텐츠를 다운로드할 수 있는 사람들을 제한하고자 할 경우, 서비스의 콘텐츠 비공개 기능을 사용하도록 설정할 수 있다.</li><li>Amazon CloudFront 엣지에서 Amazon S3에 있는 고객 소유 객체에 액세스하는 방법을 제어하거나, 두 번째는 Amazon CloudFront 엣지에서 인터넷의 최종 사용자에게 콘텐츠를 전달하는 방법을 제어한다.</li><li>또한 웹 애플리케이션에 지리적 제한 로직을 추가함으로써 최종 사용자의 지리적 위치에 따라 콘텐츠에 대한 액세스를 차단하도록 사용자 지정할 수 있다.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*VQMDVzVOHNc5KIiiwpvwvQ.png" /></figure><ul><li>Amazon CloudFront는사용자에게 전달되는 콘텐츠를 인증할 수 있도록 암호화된 연결(HTTPS)을 통해 콘텐츠를 전달하는 기능을 제공한다. Amazon CloudFront는 기본적으로 HTTP 및 HTTPS 프로토콜을 통해 요청을 수락하며, 필요한 경우, 모든 요청에 대해 HTTPS를 요구하고 HTTP 요청은 모두 허용하지 않도록 Amazon CloudFront를 설정할 수도 있다.</li><li>CloudFront 에서 고유의 도메인 이름을 사용하려면 SSL 인증서를 AWS IAM 인증서 스토리지에 업로드한 후 해당 인증서를 CloudFront 배포에 연결해야 한다.</li></ul><blockquote>우선 주로 많이 쓰이는 기능에 대해 정리하였으며, 양이 너무 많아 다른 수많은 서비스는 <a href="http://d0.awsstatic.com/International/ko_KR/whitepapers/AWS_Security_Whitepaper_Overview.pdf"><strong>백서</strong></a>를 참고하기 바람.</blockquote><h3>AWS Security by Design</h3><h4>Security by Design 이란?</h4><ul><li>SbD는 여러 산업계, 표준 및 보안 기준 전체에서 대규모의 보안 및 규정 준수를 유지하기 위한 4단계 접근법</li><li>SbD를 사용하면 고객이 AWS 계정의 Front End구조를 자동화하여 계정에 보안 및 규정 기준을 안정적으로 적용할 수 있다.</li><li>SbD를 사용하면 고객이 기본 구조를 자동화하여 AWS 환경의 보안 및 규정 준수를 안정적으로 개발할 수 있으므로 과거 항목을 제어하는 IT에 대해 규정 준수에 맞지 않는 항목을 적발하기 쉽다.</li><li>Security by Design의 결과로, SbD 아키텍처는 다음과 같은 목표를 달성하도록 만들어졌다.</li></ul><blockquote>수정 권한이 없는 사용자가 재정의할 수 없는 강제 기능 생성.</blockquote><blockquote>안정적인 제어 작업 구축.</blockquote><blockquote>지속적인 실시간 감사 가능.</blockquote><blockquote>거버넌스 정책을 스크립팅하는 기술.</blockquote><h4>AWS 환경에서의 보안</h4><ul><li>AWS 클라우드에서 시스템을 배포할 때는 AWS 및 고객이 보안 책임을 공동으로 부담한다. AWS는 기반 인프라에 대한 보안을 담당하는 반면, 사용자는 AWS에 배포된 IT 리소스에 대한 보안을 담당한다.</li><li>Security by Design 접근법은 4단계로 구성되어 있다.</li></ul><blockquote>1단계 — 요구 사항 확인</blockquote><blockquote>2단계 — 요구 사항 및 구현 조건에 맞는 “골드 환경” 구축.</blockquote><blockquote>3단계 — 템플릿 사용 설정.</blockquote><blockquote>4단계 — 검증 작업 수행.</blockquote><h4>1단계 — 요구 사항 확인</h4><ul><li>먼저 보안 제어 합리화 작업을 수행하며, 현재 고객 아키텍처에 최적화되어 운영중인 제어를 식별하고, 기존 AWS 인증내역, 승인 및 보고서로 부터도 참조할 내역을 식별하여 보안 Controls Implementation Matrix(CIM)를 생성할 수 있다.</li></ul><h4>2단계 — “골드 환경” 구축</h4><ul><li>이 단계는 사용자가 AWS가 제공하는 광범위한 보안 및 감사 서비스와 기능을 서로 연결하고, 보안, 규정 준수 및 감사 담당자에게 보안 및 규정 준수 환경을 구성하는 간단한 방법을 제공하도록 한다.</li><li>IAM 으로 액세스 관리, VPC나 Subnet을 이용한 네트워크 분할, 리소스 제약 조건 및 모니터링, 데이터 암호화를 통해 기능을 연결할 수 있다.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*NtuCwivfmmAbNN9pzHzJEg.png" /><figcaption>AWS 자동화(예: CloudFormation)</figcaption></figure><ul><li>AWS GoldBase : AWS GoldBase는 특정 보안/규정 준수 요구 사항 내에서 사전 점검되고 자동화된 참조 아키텍처를 제공한다. AWS GoldBase 사용 사례 패키지는 기준 CloudFormation 템플릿으로 구성되는데, 사용자는 이를 고객 환경 내 배포용으로 사용자 지정할 수 있다. 자세한 내용은 “<a href="https://d0.awsstatic.com/whitepapers/compliance/Intro_to_AWS_GoldBase.pdf">AWS GoldBase 소개</a>” 백서 참조</li></ul><h4>3단계 — 템플릿 사용 설정</h4><ul><li>“골드 환경”을 만든 후에는 AWS에서 이를 사용할 수 있도록 설정해야 하는데, 서비스 카탈로그를 설정하여 이를 수행할 수 있다.</li><li>서비스 카탈로그를 설정하면 계정에 액세스하는 모든 사용자가 만들어진 CloudFormation 템플릿을 사용하여 자신의 환경을 만들어야 한다.</li><li>사용자가 환경을 사용할 때마다 이러한 “골드 환경” 규칙이 모두 적용되어, 제어의 나머지 고객 계정 보안 구성을 효과적으로 조작할 수 있으므로 감사에 대비할 수 있다.</li></ul><h4>4단계 — 검증 작업 수행</h4><ul><li>이 단계의 목표는 AWS 고객이 일반적으로 용인되는 공공 감사 표준을 기준으로 독립적인 감사를 지원할 수 있도록 하는 것.</li><li>AWS는 규정을 준수하지 않는 인스턴스가 실제로 있는지 여부를 감지하는 AWS Config를 제공하며, AWS Config는 아키텍처의 현재 시점 설정정보를 제공한다.</li><li>또한 AWS는 보안된 읽기 액세스를 통해 여러 감사 증거 수집 기능과 증거 모음을 자동으로 감사하는 고유 API 스크립트를 함께 제공한다.</li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=3775eb75230e" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>