<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Blockdev on Medium]]></title>
        <description><![CDATA[Stories by Blockdev on Medium]]></description>
        <link>https://medium.com/@blockdev_5135?source=rss-5ca982c2f3a4------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*dmbNkD5D-u45r44go_cf0g.png</url>
            <title>Stories by Blockdev on Medium</title>
            <link>https://medium.com/@blockdev_5135?source=rss-5ca982c2f3a4------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Thu, 19 Nov 2026 20:03:49 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@blockdev_5135/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[프라이빗 블록체인 클레이튼 40시간 다운에 대한 진지한 분석]]></title>
            <link>https://medium.com/@blockdev_5135/%ED%94%84%EB%9D%BC%EC%9D%B4%EB%B9%97-%EB%B8%94%EB%A1%9D%EC%B2%B4%EC%9D%B8-%ED%81%B4%EB%A0%88%EC%9D%B4%ED%8A%BC-40%EC%8B%9C%EA%B0%84-%EB%8B%A4%EC%9A%B4%EC%97%90-%EB%8C%80%ED%95%9C-%EC%A7%84%EC%A7%80%ED%95%9C-%EB%B6%84%EC%84%9D-2af46117c191?source=rss-5ca982c2f3a4------2</link>
            <guid isPermaLink="false">https://medium.com/p/2af46117c191</guid>
            <category><![CDATA[postmortem]]></category>
            <category><![CDATA[클레이튼]]></category>
            <category><![CDATA[private-blockchain]]></category>
            <category><![CDATA[klaytn]]></category>
            <category><![CDATA[governance]]></category>
            <dc:creator><![CDATA[Blockdev]]></dc:creator>
            <pubDate>Sun, 21 Nov 2021 14:19:11 GMT</pubDate>
            <atom:updated>2021-11-21T17:11:41.026Z</atom:updated>
            <content:encoded><![CDATA[<p>대한민국의 블록체인 개발자로써 이번 클레이튼 40시간 다운 사태를 지켜보면서 진지한 기술적 분석이나 이슈 제기가 없는 것 같아 글을 작성하기로 했습니다.</p><p>우선 사태 분석 이전에 클레이튼이 이렇게 블록체인 개발자들에게 관심이 없는 이유가 궁금했습니다. 카카오는 시가총액 50조가 넘는 대기업으로서 전 국민이 사용하는 카카오톡에 자체 발행한 klay 가상자산 지갑 기능을 넣으면서 블록체인 대중화에 큰 역할을 할 것으로 기대되는 플랫폼이고 이 플랫폼을 활용하면 많은 기회가 있을 것인데 어떻게 이렇게 개발자들은 관심이 없을까요.</p><p>클레이튼과 비슷한 시가총액인 EOS의 경우 기여자가 220명이 넘고 즐겨찾기를 한 개발자도 11000명이 넘으며, 프로젝트 시작한지 1년도 안된 Flow 조차 기여자가 35명에 커밋수 2만이 넘는데 클레이튼은 코드 커밋한 히스토리가 있는 개발자가 10여명에 커밋수도 2천에 불가합니다.</p><p>개인적으로 클레이튼 프로젝트가 퍼블릭을 표명하지만 사실 카카오라는 한 회사의 프라이빗 블록체인으로서 외부 개발자들이 참여할 인센티브가 전혀 없어 개발자 생태계가 없기 때문이라고 생각합니다.</p><p>여기서 프라이빗, 퍼블릭 블록체인 구분에 대해 명확히 해둘 필요가 있습니다. 누구나 쓰게 한다고 퍼블릭 블록체인일까요? 한 기업이 노드를 여러개 운영하면서 누구나 해당 블록체인을 쓰게 한다면? 아예 하나만 운영하면서 누구나 쓰게 한다면? 그러다가 어느날 정해진 사람만 쓰게 한다면?</p><p>그렇습니다. <strong>퍼블릭 블록체인의 핵심은 누구나 쓸 수 있다는 것이 아니라 그러한 결정을 누구나 참여해서 할 수 있냐는 것입니다. 누구나 쓸 수 있다는 것은 조건이 아닌 결과입니다</strong>.</p><p>북한이 조선민주주의인민공화국이라면서 투표도 하고 노동당외에 당이 있다고 민주공화국일까요? 형식이 아닌 실질이 중요한 이유입니다.</p><p>다날이 진행하는 페이코인의 경우 누구나 사용할 수 있지만 노드는 허가된 사람들만 운영하기 때문에 자신들은 프라이빗 블록체인임을 명확히 공표하고 있습니다.<br><a href="https://medium.com/payprotocol/%ED%8E%98%EC%9D%B4%ED%94%84%EB%A1%9C%ED%86%A0%EC%BD%9C%EC%9D%80-%EC%99%9C-%ED%95%98%EC%9D%B4%ED%8D%BC%EB%A0%88%EC%A0%80-%ED%8C%A8%EB%B8%8C%EB%A6%AD-%EB%B8%94%EB%A1%9D%EC%B2%B4%EC%9D%B8%EC%9D%84-%EC%82%AC%EC%9A%A9%ED%95%A0%EA%B9%8C%EC%9A%94-d38ae41a3c76">페이코인은 왜 ‘하이퍼레저 패브릭’ 블록체인을 사용할까요?</a></p><p>분석 중에도 언급되겠지만 <strong>클레이튼은 완전히 프라이빗 블록체인과 같은 형태로 개발되고 운영되고 있습니다</strong>. 이 점을 머리속에 넣어두고 이번 클레이튼 다운 사태를 시간대별로 발생한 사건과 카카오에서 발표한 내용을 비교하며 분석해보겠습니다.</p><ul><li>2021.11.13 09:12:38<br>- 최초 중단<br>- 마지막 정상 블록 <a href="https://scope.klaytn.com/block/75036635?tabId=txList">https://scope.klaytn.com/block/75036635</a></li></ul><blockquote>[11/13 9시 ~ 13시] 비상 운영 모드 돌입 및 로그 분석 진행</blockquote><blockquote>Klaytn 팀에서는 먼저 비상연락망을 통해 Cypress의 합의 노드(CN)들을 운영하는 Governance Council의 CCO (Core Cell Operator)들을 소집하였습니다. CCO들에게 장애 상황에 대한 설명을 하고 Cypress 복구를 위한 공동 대응을 시작하였습니다.</blockquote><blockquote>1차적으로는 전체 CN들의 재시작을 통해 네트워크 복구를 시도하였습니다. CN들의 재시작으로는 네트워크 복구는 되지 않았지만 배드 블록에 대한 로그를 취합하여 분석을 시작할 수 있었고 하나의 문제되는 상황을 발견하게 되었습니다. 다만 이 단계에서는 배드 블록이 발생하는 원인은 파악되지 않았습니다.</blockquote><p>⇒ 이 부분에서 카카오의 설명대로 CCO간 협의를 했다면, 문제 확인 없이 재시작하기로 했을때의 문제가 더 커졌다면 누가 책임을 질 것이었느지, 즉 CCO에 참여한 기업은 누구이고, 이런 결정은 누가 제안하고 어떻게 동의했는지 밝혀야합니다. 아니면 카카오가 CCO들에게 자신의 결정을 통보하고 재시작을 요청했다고 생각하면 쉽게 이해되면 대목입니다.</p><ul><li>2021.11.13 12:55:53<br>- 1차 재시작<br>- <a href="https://scope.klaytn.com/block/75036636">https://scope.klaytn.com/block/75036636</a></li><li>2021.11.13 13:13:57<br>- 2차 중단<br>- <a href="https://scope.klaytn.com/block/75036666">https://scope.klaytn.com/block/75036666</a></li><li>2021.11.13 13:46:48<br>- 2차 재시작<br>- <a href="https://scope.klaytn.com/block/75036667">https://scope.klaytn.com/block/75036667</a></li><li>2021.11.13 14:14:47<br>- 3차 중단<br>- <a href="https://scope.klaytn.com/block/75036726">https://scope.klaytn.com/block/75036726</a></li></ul><blockquote>​​[11/13 13시 ~ 16시] State Prefetch 최적화 기능 비활성화</blockquote><blockquote>일부 노드에서 <a href="https://github.com/klaytn/klaytn/releases/tag/v1.6.0">Klaytn v1.6.0에 도입한 State Prefetcher 기능</a>으로 인해 segmentation fault (잘못된 메모리 접근에 의한 에러)가 발생한 로그가 발견되어 해당 기능을 비활성화하는 작업을 진행하였습니다. 하지만 이 기능이 문제의 원인은 아닌 것으로 판명되었고, 최적화 기능 비활성화가 Cypress의 블록 생성 장애 상황을 복구하지는 못했습니다. 참고로 State Prefetcher 기능의 버그는 <a href="https://github.com/klaytn/klaytn/releases/tag/v1.7.0">Klaytn v1.7.0</a>에 들어간 <a href="https://github.com/klaytn/klaytn/pull/1011">패치</a>에서 수정되었습니다.</blockquote><p>⇒ 여기서부터 카카오 기술력에 대한 의구심이 드는 항목이 등장합니다. <strong>합의가 안되는 배드블록이 있으면 각각의 노드에서 합의를 이루기 위한 검증 데이터를 만드는 과정에 대한 로그부터 확인해보면 될 것</strong>인데 segmentation fault 로그 찾았다고 해당 기능을 비활성화하는 안일한 대응을 합니다. 머클 트리 개발을 직접 하지 않고 이더리움을 가져다쓰다보니 검증 데이터 만드는 부분에 대한 단계별 로깅을 못한게 아닐까 생각합니다.</p><ul><li>2021.11.13 18:14:28<br>- 3차 재시작. 될거라고 예상한듯, medium에 재시작 한다고 공지함<br>- <a href="https://scope.klaytn.com/block/75036727">https://scope.klaytn.com/block/75036727</a><br>- TX 막고, 합의만 하고 있음</li><li>2021.11.13 18:39:42<br>- Validators 하나씩 제외 (20개)</li><li>2021.11.13 19:02:49<br>- Validator 하나로 운영<br>- <a href="https://scope.klaytn.com/block/75038583">https://scope.klaytn.com/block/75038583</a><br>- TX 열자 다시 다운됨</li><li>2021.11.13 19:12:37<br>- 4차 재시작<br>- <a href="https://scope.klaytn.com/block/75038585">https://scope.klaytn.com/block/75038585</a></li><li>2021.11.13 19:13:14<br>- Validator 모두 다운 (BP 전환되고 죽은듯)<br>- <a href="https://scope.klaytn.com/block/75038593">https://scope.klaytn.com/block/75038593</a></li><li>2021.11.13 19:13:15<br>- Validator 1개<br>- <a href="https://scope.klaytn.com/block/75038594">https://scope.klaytn.com/block/75038594</a></li><li>2021.11.13 19:32:24<br>- Validator 2개<br>- <a href="https://scope.klaytn.com/block/75039743">https://scope.klaytn.com/block/75039743</a></li><li>2021.11.13 20:20:03<br>- Validator 1개<br>- <a href="https://scope.klaytn.com/block/75039878">https://scope.klaytn.com/block/75039878</a>:</li><li>2021.11.13 20.23.43<br>- Validator 0개<br>- <a href="https://scope.klaytn.com/block/75040098">https://scope.klaytn.com/block/75040098</a></li><li>2021.11.13 21:42:22<br>- TX 열어서 합의없이 처리 시도, 될거라고 예상했는지 medium에 progress 있다고 공지<br>- <a href="https://scope.klaytn.com/block/75044750">https://scope.klaytn.com/block/75044750</a></li><li>2021.11.13 21:42:26<br>- 4차 중단<br>- <a href="https://scope.klaytn.com/block/75044754">https://scope.klaytn.com/block/75044754</a></li></ul><blockquote>[11/13 16시 ~ 17시 30분] 바이너리 다운그레이드</blockquote><blockquote>CN들은 <a href="https://github.com/klaytn/klaytn/releases/tag/v1.6.4">Klaytn v1.6.4</a>를 운영하고 있었는데, State Prefetcher의 버그 이슈를 고려하여 이전의 바이너리로 다운그레이드하는 작업을 시도하였습니다. 하지만 이 시도도 블록이 합의되지 못하는 현상을 없애지 못하였습니다.</blockquote><blockquote>[11/13 17시 30분 ~ 20시 30분] 합의 참여 CN수 축소</blockquote><blockquote>다양한 시도에도 불구하고 네트워크 복구에 실패하여, 조금 더 빠르고 효율적인 복구를 하기 위하여 CCO들과의 합의하에 그라운드X의 CN만 블록을 생성하는 형태로 복구를 시도하였습니다. 블록 합의 과정에 참여하는 CN을 밸리데이터(validator)라고 하는데 밸리데이터의 수를 축소하기 위해서는 블록이 생성되어야 하는 문제가 있었습니다. 다행히 이 시기에는 특정 트랜잭션이 배드 블록을 일으킨다는 것을 알게되어 CN들의 네트워크로 새로운 트랜잭션이 전파되지 않도록 한다음 블록 생성을 재개하였고 밸리데이터의 수를 1대로까지 줄일 수 있었습니다.</blockquote><p>⇒ <strong>합의가 안되는 문제를 찾기 위해 합의를 하지 않도록 결정했다는 부분은 개발자가 아니더라도 이해하기 어려운 해명</strong>입니다. 합의 안되는 문제에 대한 분석보다는 합의 없이 카카오 단독 노드로 운영하겠다는 결정을 CCO들과 했다는 것인데 블록체인임을 포기하는 것에 대한 결정이 이렇게 빠르게 사용자들 동의 없이 이루어졌다는 것에 대해 앞으로도 클레이튼에선 이러한 일이 반복되지 않을 것이라는 것을 어떻게 보장할지 궁금한 대목입니다.</p><ul><li>2021.11.14 14:03:36<br>- 5차 재시작<br>- Validator 1개<br>- <a href="https://scope.klaytn.com/block/75082719">https://scope.klaytn.com/block/75082719</a></li><li>2021.11.14 14:03:46<br>- Validator 2개<br>- <a href="https://scope.klaytn.com/block/75082729">https://scope.klaytn.com/block/75082729</a></li><li>이후 수차례 다운, 재시작 반복</li></ul><blockquote>[11/13 20시 30분 ~ 11/14 09시] 일부 CN Hotfix 적용 및 효과 확인</blockquote><blockquote>배드 블록 발생의 원인이 특정한 트랜잭션이라고 유추하였고, 그것을 막기 위한 수정코드(hotfix, 문제가 발생하지 않도록 수정한 임시방편 코드)를 작성하였습니다. Hotfix는 <a href="https://docs.klaytn.com/klaytn/design/transactions/basic#txtypeaccountupdate">계정 업데이트 트랜잭션</a>을 막는 형태로 네트워크 안정화를 시도합니다. Hotfix 효과 확인 및 대응을 빠르게 하기 위해 일부 CN에 Hotfix를 적용하고 네트워크 추이를 확인했습니다. 다행히 이 시도는 성공하였고 현재 계정 업데이트 트랜잭션은 임시적으로 비활성화된 상태입니다.</blockquote><blockquote>[11/14 09시 ~ 15시] 원인 분석 완료 및 Hotfix 적용 확대</blockquote><blockquote>Hotfix가 적용된 일부 CN에서 배드 블록을 더 이상 생성하지 않는 것을 확인하였습니다. 따라서, 일부 네트워크에 적용하였던 Hotfix를 네트워크 전체에 확대하여 적용하였습니다. 또한, 계정 업데이트 트랜잭션이 배드 블록을 유발하게된 상세 원인 및 해결 방안을 확인하였습니다. 정확한 해결 방안은 유효성 및 안전성을 충분히 검토하여 차후 정식 패치 버전으로 배포하기로 하였습니다.</blockquote><p>⇒ 합의가 안되는 문제가 key에 대한 참조값이 꼬여서 발생한다는 것을 24시간이 지난 시점에서야 확인이 됐다는부분도 잘 이해가 가지 않습니다. 물론 자신이 작성한 코드가 아닌 오픈소스를 사용하는데 복잡한 오픈소스 내부에서 문제점을 찾는다는게 쉽지 않을 수 있겠지만 자신들은 블록체인 코어 기술을 가지고 있다며 한국은행 CBDC 구축까지 하겠다고 할 정도의 기술력을 보여주진 못한 것 같습니다.</p><blockquote>해결책</blockquote><blockquote>위에서 설명드린 버그를 해결하기 위해서는 키 객체를 deep copy를 통해 트랜잭션의 키 객체와 다른 객체로 설정해 주면 됩니다. 업데이트하고자 하는 키의 타입이 원래 키의 타입과 다를 경우, 키를 바로 저장하는 것이 아니고, 키 객체를 deep copy하고 할당하게 되면 이 문제는 더 이상 발생하지 않습니다. 이 버그 수정과 버그에 대한 테스트 코드는 <a href="https://github.com/klaytn/klaytn/pull/1060">PR#1060</a>에서 확인하실 수 있으며,<a href="https://github.com/klaytn/klaytn/releases/tag/v1.7.1"> Klaytn v1.7.1 릴리즈</a>에 포함되었습니다.</blockquote><p>⇒ key 참조 문제를 해결한 것으로 이러한 일이 발생하지 않을까요? 보통 합의가 안되면 그 tx가 들어 있는 블록은 버려지고 (체인에 연결안되고), 다음 블록을 생성하게 됩니다. 그러다가 그 tx가 timeout으로 제거되면 합의가 되고 블록이 생성되게 됩니다. 이렇기 때문에 이러한<strong> 합의안되는 tx가 오면 블록 생성이 지연되기는 하지만 지속적으로 멈추지는 않는 것이 일반적</strong>입니다. 그런데, 이번 클레이튼 사태는 이런 합의 안되는 tx로 인해서 블록체인이 멈춘 것입니다. 이건 아마도 블록 생성 지연으로 tx pool에 tx가 과도하게 쌓이면서 p2p network이 망가진 것이 아닌가 추측해볼 수 있으며, 이 부분에 대해서는 아직 패치가 안되었으니 향후 과도한 tx가 오거나 합의가 안되는 블록을 전파시키는 공격의 경우 다시 블록 생성 멈추는 상황이 발생할 수 있을 것 같습니다.</p><p>이번 사태를 간단하게 정리해보면 아래와 같습니다.</p><ul><li><strong>클레이튼은 카카오에 의해 운영되는 프라이빗 블록체인이다</strong></li><li><strong>이더리움 오픈소스 기반으로 프로젝트를 하다보니 분석과 패치에 상당한 시간이 걸렸다</strong></li><li><strong>근본적인 패치가 아니라 이러한 사태는 언제든지 재발할 수 있다.</strong></li></ul><p>마지막으로 우려스러운 부분은 발생 조건이 까다롭고 가능성이 희박한데, 발생했다는 것은, 그리고 그 tx가 지속적으로 들어왔다는 것은, 버그를 아는 사람의 공격일 가능성이 커 보입니다.</p><p>그리하여 가능성이 희박한 버그가 발생했음을 상세하게 설명하기보다는, 버그 바운티와 같은 커뮤너티 참여를 유도하여 어떻게 버그를 미리 찾아 패치하여 네트워크가 다운되는 걸 막을건지, 어떤 상황에서도 네트워크가 멈추지 않도록 비상 시 대응 방안을 체계화 하는 방안을 제시하는게 더 바람직 해 보입니다.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=2af46117c191" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>