Klaytn EN 싱크 속도 문제

hwlee · 7월 28, 2020, 6:24오전

현재 EN 싱크가 너무 느립니다.
음… 평소에는 잘 운영하고 있다가 근래들어 트랜잭션이 많아져서 그런지 싱크가 매우 느린 상황입니다 ㅠㅠ
혹시 예상가는 문제점 있으신가요?
사양 자체는 권장사양인 16CPU와 64G RAM + SSD를 충족하고 있으며 오늘 아침까지만 해도 싱크 속도 괜찮았다가 급 느려진 느낌입니다. 예상가는 문제 있으실까요…?

아래 관련 로그 첨부합니다.
특이 사항으로는 금일 방화벽 관련해서 세팅을 몇개 바꿔준 것이 있는데, 클레이튼 엔드포인트 노드에서 사용하는 포트들은 일절 건드리지 않았습니다. 보시면 지금도 잘 import 해오고 있구요. 다만 그속도가 너무 느려서 이렇게 문의 남겨봅니다.

INFO[07/28,06:17:26 Z] [33] ProtocolManager.processMsg closed         id=1700d1f0caa0a2a7 conn=inbound            PeerName=Klaytn/v1.1.1/linux-amd64/go1.12.5
    INFO[07/28,06:17:26 Z] [33] ProtocolManager.processMsg closed         id=1700d1f0caa0a2a7 conn=inbound            PeerName=Klaytn/v1.1.1/linux-amd64/go1.12.5
    INFO[07/28,06:17:26 Z] [33] ProtocolManager.processMsg closed         id=1700d1f0caa0a2a7 conn=inbound            PeerName=Klaytn/v1.1.1/linux-amd64/go1.12.5
    INFO[07/28,06:17:26 Z] [33] ProtocolManager.processMsg closed         id=1700d1f0caa0a2a7 conn=inbound            PeerName=Klaytn/v1.1.1/linux-amd64/go1.12.5
    INFO[07/28,06:17:26 Z] [33] Added a multichannel P2P Peer             id=1700d1f0caa0a2a7 conn=inbound            peerID=1700d1f0caa0a2a7
    INFO[07/28,06:17:28 Z] [5] Imported new chain segment                number=34321207 hash=f39b74…c00db5 blocks=1  txs=10  elapsed=1.497s    trieDBSize=18.63mB  mgas=1.833  mgasps=1.224
    WARN[07/28,06:17:29 Z] [41] Failed to filter bodies                   peer=7e33d7d9805e9e77 lenTxs=1
    WARN[07/28,06:17:35 Z] [41] Failed to filter bodies                   peer=7e33d7d9805e9e77 lenTxs=1
    INFO[07/28,06:17:41 Z] [33] [Dial] Add dial candidate from static nodes  id=c378208d4d09e95a NodeType=2  ip=49.50.167.22  port="[32323 32324]"
    WARN[07/28,06:17:42 Z] [41] Failed to filter bodies                   peer=7e33d7d9805e9e77 lenTxs=1
    INFO[07/28,06:17:46 Z] [5] Imported new chain segment                number=34321210 hash=7c8aff…db8bd9 blocks=3  txs=216 elapsed=18.965s   trieDBSize=22.97mB  mgas=31.078 mgasps=1.639   ignored=2
    INFO[07/28,06:17:49 Z] [33] [Dial] Add dial candidate from static nodes  id=301c8d7d8f3b0352 NodeType=2  ip=27.96.131.182 port="[32323 32324]"
    INFO[07/28,06:17:57 Z] [5] Imported new chain segment                number=34321219 hash=d872c2…43bed9 blocks=9  txs=141 elapsed=10.924s   trieDBSize=23.92mB  mgas=24.817 mgasps=2.272
    INFO[07/28,06:18:09 Z] [5] Imported new chain segment                number=34321223 hash=7bd6cc…5817d0 blocks=4  txs=123 elapsed=11.190s   trieDBSize=26.24mB  mgas=20.831 mgasps=1.861
    WARN[07/28,06:18:20 Z] [28] spawnSync timeout                         peerID=0b81bfe905fce6b2
    INFO[07/28,06:18:23 Z] [5] Imported new chain segment                number=34321227 hash=e69262…c1a85e blocks=4  txs=133 elapsed=14.357s   trieDBSize=28.77mB  mgas=23.707 mgasps=1.651
    INFO[07/28,06:18:27 Z] [33] [Dial] Add dial candidate from static nodes  id=c378208d4d09e95a NodeType=2  ip=49.50.167.22  port="[32323 32324]"
    INFO[07/28,06:18:34 Z] [5] Imported new chain segment                number=34321230 hash=397e82…6a30a3 blocks=3  txs=114 elapsed=10.642s   trieDBSize=29.76mB  mgas=19.173 mgasps=1.802
    INFO[07/28,06:18:35 Z] [33] [Dial] Add dial candidate from static nodes  id=301c8d7d8f3b0352 NodeType=2  ip=27.96.131.182 port="[32323 32324]"
    INFO[07/28,06:18:45 Z] [5] Imported new chain segment                number=34321255 hash=46862c…1a1978 blocks=25 txs=352 elapsed=11.373s   trieDBSize=31.09mB  mgas=41.448 mgasps=3.644
    WARN[07/28,06:18:49 Z] [41] Failed to filter bodies                   peer=d030db9ea7966de2 lenTxs=1

hwlee · 7월 28, 2020, 6:26오전

지금도 블록을 한꺼번에 가져오면서 elapsed가 10초, 어떤 때는 27초 이렇게 기록하고 있습니다.

어째 네트워크가 갑자기 느려진 느낌이네요. 흠… 저희측 문제이려나요.

hwlee · 7월 28, 2020, 6:44오전

16 코어 CPU 기준 최대 사용량이 1600% 라 할 때
평소 사용량이 200% 미만이었다면 오늘은 기본 300% 이상이네요.

열심히 피어 더하고 중간에 느린놈 드랍하고 등등 작업하느라 바쁜 거 같은데… 특이하네요.

저희랑 비슷한 문제 겪고 계신 분 또 없으신가요

여전히 싱크 많이 느리고 elapsed 타임도 장난 아닙니다 ㅠㅠ

hwlee · 7월 28, 2020, 6:49오전

특이사항으로는 평소보다 Add dial이 매우 빈번하게 자주 보입니다.

32324]"
INFO[07/28,06:48:37 Z] [33] [Dial] Add dial candidate from static nodes  id=c378208d4d09e95a NodeType=3 ip=49.50.167.22  port="[32323 32324]"
INFO[07/28,06:48:40 Z] [33] [Dial] Add dial candidate from discovery nodes  id=37e50d966122113b addr=13.124.31.51:32323
INFO[07/28,06:48:41 Z] [5] Imported new chain segment                number=34322316 hash=aba218…f775ae blocks=1  txs=90  elapsed=11.988s   trieDBSize=6.92mB   mgas=15.745 mgasps=1.313
INFO[07/28,06:48:42 Z] [33] [Dial] Add dial candidate from discovery nodes  id=7cfc06e6193ab71a addr=222.106.43.200:32323
INFO[07/28,06:48:49 Z] [5] Imported new chain segment                number=34322318 hash=8a8f49…4b88d4 blocks=2  txs=73  elapsed=8.041s    trieDBSize=8.57mB   mgas=12.366 mgasps=1.538
INFO[07/28,06:48:52 Z] [33] [Dial] Add dial candidate from discovery nodes  id=c73c1bfaeeff1a2a addr=18.139.192.189:32323
WARN[07/28,06:48:52 Z] [40] Failed doConnTypeHandshake                addr=13.125.2.230:48241    conn=inbound            conntype=-1 err="read tcp 172.104.105.152:32324->13.125.2.230:48241: i/o timeout"
INFO[07/28,06:48:55 Z] [33] [Dial] Add dial candidate from discovery nodes  id=d5b3eed6b8b31623 addr=54.178.210.184:32323
INFO[07/28,06:48:57 Z] [33] [Dial] Add dial candidate from discovery nodes  id=7c6a0befc495ca47 addr=52.78.241.194:32323
INFO[07/28,06:48:58 Z] [5] Imported new chain segment                number=34322349 hash=4a6e18…069acb blocks=31 txs=341 elapsed=8.758s    trieDBSize=9.97mB   mgas=38.976 mgasps=4.450
INFO[07/28,06:49:06 Z] [33] [Dial] Add dial candidate from static nodes  id=301c8d7d8f3b0352 NodeType=3 ip=27.96.131.182 port="[32323 32324]"
INFO[07/28,06:49:07 Z] [33] [Dial] Add dial candidate from discovery nodes  id=bb7041829fb68fa2 addr=52.78.54.7:32323

hwlee · 7월 28, 2020, 6:54오전

특이사항 추가드리자면
Refresh done 로그도 정말 많이 보입니다.

hwlee · 7월 28, 2020, 7:22오전

지금은 속도 살짝 빨라졌는데 여전히 왔다리 갔다리 합니다 ㅋㅋ

음 근데 보통 한 블록에 트랜잭션이 30개 이상 있으면 elapsed가 2초 이상 뜨나요?

음… 그렇다면 나중에 클레이튼에 트랜잭션이 많이 쌓이면서 속도가 더 느려지 수도 있겠네요
블록당 tx 1,2개 일때는 쾌적하게 잘 받아오는 거 같은데 30개 이상이면 지연 생기는 거 같아요.

hwlee · 7월 28, 2020, 7:46오전

spawnSync timeout도 간간히 보입니다.

혹시 클레이튼 쪽에서는 이슈 없으신가요 ?_?
스코프도 업데이트 안되고 있네요 T_T

Ethan · 7월 28, 2020, 8:11오전

안녕하세요.
서비스에 어려움을 드려 죄송합니다.

현재 Cypress network 상에 동일한 contract로 새로운 data를 처리하는 무거운 Tx들이 많이 발생되고 있어서 Tx의 갯수는 적으나 computation/storage 사용량이 높은 상태입니다.

아래는 현재 저희가 운영중인 EN의 log로 block 처리에 시간이 꽤 소요되는 것을 볼수 있습니다.(m5.4xlarge)

현재로써는 instance의 성능 늘리고 SSD의 IOPS를 늘리는 것으로 대응을 할 수 밖에 없는점 양해 부탁드립니다.
지속적으로 Klaytn의 성능 개선을 통해서 해당 어려움을 겪지 않으시도록 노력하겠습니다.

INFO[07/28,17:05:52 +09] [5] Imported new chain segment                number=34326183 hash=4d7147…d4560d blocks=2   txs=81   elapsed=708.853ms trieDBSize=17.94mB  mgas=3.339   mgasps=4.710   ignored=2
INFO[07/28,17:05:52 +09] [5] Imported new chain segment                number=34326184 hash=74c400…042c62 blocks=1   txs=11   elapsed=461.359ms trieDBSize=18.19mB  mgas=1.842   mgasps=3.992
INFO[07/28,17:05:53 +09] [5] Imported new chain segment                number=34326185 hash=f535ea…96ec10 blocks=1   txs=13   elapsed=446.177ms trieDBSize=17.92mB  mgas=2.110   mgasps=4.728
INFO[07/28,17:05:53 +09] [5] Imported new chain segment                number=34326187 hash=e6379a…e6af54 blocks=2   txs=24   elapsed=282.616ms trieDBSize=18.19mB  mgas=1.621   mgasps=5.734   ignored=1
INFO[07/28,17:05:54 +09] [5] Imported new chain segment                number=34326188 hash=54a06e…4c8007 blocks=1   txs=22   elapsed=655.251ms trieDBSize=18.73mB  mgas=4.150   mgasps=6.333
INFO[07/28,17:05:55 +09] [5] Imported new chain segment                number=34326189 hash=e90807…0ad1ee blocks=1   txs=21   elapsed=678.319ms trieDBSize=18.87mB  mgas=3.729   mgasps=5.497
INFO[07/28,17:05:56 +09] [5] Imported new chain segment                number=34326190 hash=5ed388…d54bfc blocks=1   txs=12   elapsed=574.756ms trieDBSize=19.30mB  mgas=1.719   mgasps=2.990
INFO[07/28,17:05:58 +09] [5] Imported new chain segment                number=34326191 hash=9d2871…ac7d0e blocks=1   txs=32   elapsed=1.016s    trieDBSize=20.10mB  mgas=5.489   mgasps=5.400
INFO[07/28,17:05:59 +09] [5] Imported new chain segment                number=34326192 hash=80a026…d557c1 blocks=1   txs=23   elapsed=860.681ms trieDBSize=20.66mB  mgas=3.531   mgasps=4.102
INFO[07/28,17:05:59 +09] [5] Imported new chain segment                number=34326193 hash=ff1e54…c82d18 blocks=1   txs=18   elapsed=531.010ms trieDBSize=20.51mB  mgas=2.985   mgasps=5.621
INFO[07/28,17:06:00 +09] [5] Imported new chain segment                number=34326194 hash=2c1785…5adc02 blocks=1   txs=16   elapsed=580.293ms trieDBSize=20.97mB  mgas=2.581   mgasps=4.448
INFO[07/28,17:06:01 +09] [5] Imported new chain segment                number=34326195 hash=92e031…357174 blocks=1   txs=11   elapsed=231.292ms trieDBSize=21.18mB  mgas=1.097   mgasps=4.745

감사합니다.

hwlee · 7월 28, 2020, 8:15오전

빠른 답변 주셔서 감사합니다.
그런 이슈가 있었군요… ㅠㅠ

공유 감사합니다.

글		댓글	조회수
Klaytn 블록생성시간 단축 가능성 문의 Kaia	6	300	9월 24, 2022
클레이튼 엔드포인트 노드 운영중인데 Kaia klaytn	2	532	1월 20, 2022
클레이튼 풀노드 체인데이터 다운로드후 에러 Kaia klaytn	3	624	9월 13, 2021
서비스체인네트워크(scn) 관련 문의 Kaia klaytn	2	327	1월 20, 2022
퍼블릭 노드 request 제한 관련 Kaia klaytn	1	587	11월 1, 2021

Klaytn EN 싱크 속도 문제

Related topics