꼼삐 프로젝트를 시작하면서 인프라 구성 쪽을 가장 공부해보고 싶었다. 꼼삐를 시작하기 직전에 회사에서 했던 배달공제조합 프로젝트에서 쿠버네티스와 아르고 씨디를 사용했었는데, 그때는 다른 계열사 데브옵스 엔지니어가 인프라 관련 작업들을 다 해주기도 했고 워낙 개발일정이 빠듯했어서 인프라 구성 관련해서 제대로 공부할 수 없었다.
현업에서의 개발 환경은 확실히 다르긴 했다. 개발, 검증, 운영 세단계로 환경을 분리하여 운영하고 있었고, 보안 수준이나 리소스 수준도 다르고 배포과정도 다르고... (사실 구체적인 부분은 잘 모름) 사실 무엇보다 쿠버네티스와 아르고 cd 로 구성한 컨테이너 오케스트레이션이 잘 알지도 못하면서 좀 멋져보였다.
여튼 이런 이유에서 꼼삐에서는 가상화 인프라 구성(가상 머신, 컨테이너) 에 가장 신경을 썼고, 백엔드 개발은 MSA 환경과 클린 아키텍쳐를 찍먹해보는 정도로 목표를 잡았다. MSA 하고 클린 아키텍쳐 내용은 너무 깊은 내용을 찍먹 수준에서 정리하는게 좀 웃긴 거 같아서... 기회가 있으면 다음에 하도록 하고 이번에는 홈 서버를 구매하고 설치했던 일지(?) 정도를 남겨둔다.
이후의 하이퍼바이저 설치와 가상머신 구성과 관련해서는 기존에 정리한 바 있다.
https://techforme.tistory.com/66
Proxmox 를 이용한 쿠버네티스 클러스터 구축
기존에 VirtualBox 에서 VM 을 생성하여 쿠버네티스 클러스터를 구축·운영하였는데, Type1 Hypervisor 라는 개념을 알게되어 Type 1 Hypervisor 인 Proxmox 위에서 쿠버네티스 클러스터를 재구축하였다. 간단하
techforme.tistory.com
1. 홈 서버 구매
클라우드 서비스를 이용하고 싶었다. 기업에서 많이 쓴다는 EKS 나 ELK 같은 걸 사용해보고 싶었는데, 돈이 없었다. EKS 클러스터 하나당 시간당 0.1 달러가 부과되고 클러스터를 운용하는 인스턴스 비용까지 들어갈테니 대충 한달에 20은 깨질텐데... 내가 하고 싶은건데 팀원들한테 돈달라고 할 수도 없고. 쿠버네티스를 이제 처음 공부하는 단계니까 온프레미스로 환경에서 먼저 익숙해진 후에 하기로 하고, 이를 위해 서버용 데스크톱을 하나 사기로 했다.
근데 뭐 테스크톱은 저렴한가 ? 모르긴 몰라도 쓸만한 컴퓨터는 최소 50 ~ 60 만원은 들테고 매달 전기료도 추가로 들어갈 것이다. 근데 그럼에도 홈 서버는 앞으로 요긴하게 자주 쓸 수 있을 것 같았고, 뭔가 내가 이래저래 만져보면서 하드웨어적으로도 친해질 수 있는 계기가 될 수 있지 않을까 하는 기대도 됐다.
1) 알리 탐험
그렇게 어떤 피씨를 구매할까 하다가 엄청 유혹적인 영상을 보게되는데, 제온 이라는 CPU 로 극강의 가성비 컴을 조립하는 영상이었다. 영상에 따르면, 원래 인텔의 Xeon 은 코어와 스레드 수가 어마어마한 서버용 CPU 라인으로 매우 고가인데, 대략 8 ~ 10 년 전에 발매되어 서버실에서 열심히 구른 뒤 퇴역한 제온 CPU 는 알리에서 단돈 1 ~ 2만원에 팔고 있으며, 이를 이용해 아주 가성비 좋은 컴을 조립할 수 있다는 것. 내가 그렇게 가성비 충은 아니지만 여기저기서 부품을 사모아서 컴퓨터 조립을하는 영상이 매우 흥미롭기도 하고, 재미있는 경험도 만들 수 있을 거 같았다.
알리에서 마침 여름 특별할인기간이 시작된다고 하길래 2일 정도를 기다려서 할인 기간이 시작되자마자 메인보드, CPU, 쿨러, 파워, 메모리, SSD 를 구매했다. 죄다 젤 가성비 좋은 애들로... 가장 중요한 CPU 는 여러 벤치마크를 비교해보고 제일 가성비가 좋았던 E5 - 2697v3 을 샀다.
참고로 제온 E-5 시리즈는 X99 칩셋을 쓰는데, 2020 년 이후 메인보드 제조사에서 죄다 단종이 된 구데기라 중국산 저가 메인보드를 구매해야했다. 제온 CPU 를 소개하는 영상에서는 이 점을 가장 단점으로 꼽았는데, 중국산 저가 메인보드는 안정성이 심히 떨어진다는 이유였다. 나는 게다가 제일 잘팔리는 제일 싼 놈 말고, m-ATX 용으로다가 좀 더 비싼거로 샀다. 비싸다고 더 안정적이고 이런건 아니고 그냥 알리 생태계가 세일을 하는 놈들이 정해져있는 것 같다. m-ATX 케이스는 다나와에서 구매했다.
2. 스펙
1) XPU
CPU 의 정확한 제품명은 Xeon E5-2697v3 스펙 벤치마크 성능은 cpubenchmark.net 이라는 사이트 기준으로 멀티스레드 18698 점 싱글 스레드 1983점 을 기록하고 있다. 작성 시점에서 가성비가 가장 좋다고 꼽히는 cpu 인 AMD Ryzen 5600 (멀티스레드 21573 싱글스레드 3258) 나 i5-12400 (멀티스레드 19381 싱글스레드 3526) 과 비교해도 멀티스레드에 한해서는 성능이 크게 뒤떨어지진 않는다. (유튜브 비교 영상을 보면 제온이 좀더 잘 나오는 경우도 있다) i5-12400 이나 Ryzen 5600 은 가격이 12만원 선. 제온은 고작 2만원 정도라서 비교도 안되게 저렴한 가격에 비슷한 멀티스레드 성능을 낼 수 있으니 가성비로는 확실히 좋긴 좋다.
그러나 제온 cpu 가 이런 극강의 가성비를 가지고 있다 하더라도, 사실 그냥 돈좀 더 쓰고 현행 cpu 를 살걸 후회중이다. 그 이유는 다음과 같다.
1. 싱글코어 성능에서 차이가 많이 남
싱글스레드 성능이 많이 밀리기 때문에 용도에 따라서 제온이 돈값을 못하는 경우가 있다. (사실 서버 용도 제외하고 대부분) 참고로 나는 다수의 버추얼 머신위에 컨테이너만 20개 이상을 올려서 구동 해야하니 멀티스레드 성능을 전부 발휘할 수 있어서 그렇게 크게 신경 쓰이는 요소는 아니긴 하다. 그럼에도 싱글스레드 성능이 중요한 작업들이 일어 날 수 있기도 하고, cpu의 용도를 다목적으로 사용할 수도 있다.
2. 전력 효율에서 차이가 남 (TDP 기준)
24시간 구동 해야하는 서버용 PC 라서 전력 효율을 안 따질 수가 없는데 제온이 TDP 가 거의 2배는 되기 때문에, 아마도 전력을 더 소모하지 않을까 싶다. 이게 운영기간이 길어지면 가격면에서도 차이가 나기 때문에 제온의 가성비를 한층 낮추게 만든다.
3. 제온의 경우 중국산 저가 메인보드(X99)를 사야함 -- 가장 크리티컬한 이슈
단종 되기 전에 제작된 주요 제조사의 X99 보드를 중고로 구매할 수도 있겠지만 현재 매물이 거의 없기 때문에 대부분의 경우 불량률도 높고 안정적이지도 않은 중국산 메인보드를 싸지도 않은 가격으로 구매를 해야한다. 게다가 나는 최대한 컴퓨터를 작게 만들고 싶어서 atx 보드가 아닌 m-atx 보드를 샀는데 6만원 정도가 들었다. 가장 저렴한 선택지로 고른다면 3만원 이하의 보드도 있긴하다.
여기서 한가지 더 문제가 있는데 이놈의 중국산 x99 메인보드에는 내장그래픽 카드가 없다. x99 는 서버용이기 때문에 대부분 화면을 연결할 필요가 없을 것이긴 하지만, 초기에 운영체제 설치나 네트워크 셋팅을 하려면 그래픽카드가 필요하긴 하다. 난 이것 때문에 3만원을 또 주고 중고 그래픽카드를 사야만 했다.
4. 제온 cpu 는 기본 쿨러가 없음
제온 cpu 는 중고상품이기 때문에 벌크로 배송이 오고, 기본쿨러는 당연히 없다. 그래서 따로 사줘야 하는데 난 1.4 만원 정도 하는 저렴한 쿨러를 샀다.
결론적으로 X99 보드의 불안정성 + 가성비를 무색하게 만드는 추가적인 비용 소모 (쿨러, 그래픽카드, 전기료) 를 고려하면... 그냥 현행 가성비 제품 사는게 오백번 낫다. 어느정도는 우려되긴 했는데, 나는 단순한 사용목적이 아니라 일종의 교보재(?) 로서 구매한 거라 무난하지 않은 제온이 왠지 더 매력적이었다. 알리에서 드래곤볼 하는 것도 아주 재밌는 경험이기도 했다... (정신승리)
2) 기억 장치
메모리는 DDR4 16GB x 2, SSD 는 1TB 로 구매했다. 각각 5.5 만원 정도가 들었다. 메모리가 이렇게 싼이유는 이것 또한 서버에서 열심히 쓰고 퇴역한 알리산 서버용 메모리(ECC 메모리) 이기 때문이다. 일반적인 칩셋에서는 사용할 수 없는 것으로 알고 있다.
SSD 는 그냥 중국산이라 싼건가... 아마 이것도 다 중고일 거라고 생각함
3) 메인보드
앞서 언급한 중국의 메인보드 제조사 Machinist 의 E5 - K9 이다. 정확히 62,900 원에 구매했다. 싼건 절반도 안되는데 m-ATX 규격의 메인보드를 사기 위해서 일부러 돈을 더주고 산 건데 솔직히 왜그랬나 싶다.
3. 서버용 데스트톱 사진
좀 지저분해 보이지만 서버용 데스크탑이 거실 한켠에 저렇게 자리하고 있다. 컴퓨터를 켜면 proxmox 하이퍼바이저 로그인 화면이 뜬다. 사실 평상시에 모니터는 필요가 없어서 아래처럼 치워두고 쓴다. 뭔가 더 그럴듯하게 랙? 같은게 있으면 좋겠지만 그건 배보다 배꼽이 큰 거 같다.
잡설
사실 사진을 찍기 위해 컴을 까서 다 해체 하고 다시 조립했다. (정말 하기 싫었다.) 그래픽 카드에는 모기가 죽어있었다. 쿨링 팬을 까서 CPU 에 묻어있는 구리스를 닦아내고 CPU 사진을 찍고 다시 써멀을 도포하는 짓거리를 하면서 어디가 망가질까봐 무진장 걱정했다. 그래도 큰 소득이 있는건 팬 돌아가는 소리가 엄청 요란해가지고 중국산 쿨러를 원망했는데, 본체에 부착된 작은 팬을 끄니까 좀 낫다.
개인적으로 컴퓨터에서 LED 가 새어나오는걸 정말 싫어한다. 특히 무슨 무지개 빛이 나오는 본체는 에너지 낭비기도 하고 심미적으로도 정말 후지다고 생각한다. 기후위기 시대에 왜 그런 쓸데없는 낭비를 하는 걸까? 컴퓨터 성능에도 영향이 없는데 전원 버튼에서 나오는 불빛도 거슬렸는데 컴을 까는 김에 그것도 떼놔버려서 정말 후련했다.
