온프레미스 배포 서버 장애 회고 - 랜 카드 고장(ft. gitlab, ubuntu)

on-premise / ubuntu 환경의 배포 서버 되살리기

 

현재 업무환경에서 내부 보안망에서 개발을 하고 있는 소스를 각 개발자와 연관된 그룹사로 배포를 하기 위한 서버가 온프레미스(on-premise) 환경으로 구성 되어있는데, 오전에 접속이 안되는 것을 발견했다.

 

소스 배포를 위해서 해당 서버에 gitlab / jenkis를 docker로 띄워서 호스팅하고 있었는데 개발자들의 pc에서 해당 호스팅 중이 gitlab 사이트가 접속이 되지 않았다.

 

당시 조치를 위한 진행 사항은 이렇다.

🛠️ 조치 방법

1. 로그 확인 해보기

$ cd /home/docker/gitlab

로그파일이 존재하는 곳으로 이동

$ docker-compose logs -f {컨테이너 혹은 서비스 이름}

로그 확인. {컨테이너 혹은 서비스 이름}에는 본인이 yaml 등에 정의한 서비스를 입력하면된다. (docker-compose.yaml 등에서 확인할 수 있다.)

 

로그상에서 문제를 발견할 수 있다면 해결하는 것에 수월할 수 있을것 같다.

 

위 경우에는 직접적인 문제를 바로 발견하지는 못했다.

 

2. 프로세스 재시작하기

$ docker-compose ps # 프로세스 확인하기
$ docker-compose down # 프로세스 종료
$ docker-compose up -d # 프로세스 실행(백그라운드 환경으로)

docker-compose.yaml에 정의한대로 프로세스를 종료했다가 재시작해본다.

365일 24시간 돌아가는 서버인 만큼 종종 재기동을 해줄 필요가 있다.

업무상에 지장이있지 않는 경우 진행해야하지만 현재 접속이 안되는 상황이므로 재시작도 시도해보았다.

-> 결과는 동일...

 

3. 외장 랜카드를 사용

결국 랜카드의 문제라는 것을 알게되었다.

네트워크가 안되는 것이 의심스러워 서버의 OS인 우분투(ubuntu)의 네트워크 설정에 들어가보니 유선 네트워크 설정이 보이지 않았다.

터미널을 통해 ip 확인도 되지 않았다.

$ ifconfig | grep broadcast
$ ifconfig | grep inet
$ ifconfig

위 명령어를 통해서 서버 ip가 확인되는지 점검해봤지만, 나오지 않았다.

-> 이는 유선랜(WLAN)을 인식하는 랜카드 자체의 문제가 생긴것으로 보였다.(드라이브 혹은 랜카드 물리적인 문제)

 

랜카드의 문제인것을 정확히 확인하기 위해서 외장랜카드를 연결해보았고 이더넷이 확인되었다.

 

해당 랜을 이용해서 기존에 사용하던 고정ip를 할당하고 보안허용을 요청하는 등... 회사 내부적인 조치를 하는 것으로 당장의 배포는 진행할 수 있게 되었다.

 

임시적인 조치이므로 정식 절차를 통해서 부품을 수리 혹은 교체해서 다시 진행해야할 일이 남아있다.

 

다행히 생각보다 따르게 조치는 되었지만, 자칫 큰 이슈가 될 뻔했다.

 

해당 서버에 다른 이슈로 스토리지가 모두 날아나거나 한다면 배포환경을 재구축하는데 오랜 기간이 걸릴 수 도 있을 것 같다는 생각이 들었다.

소스의 경우, 여러곳에 분산저장되어 자동 백업이 되어있겠지만, 빌드 및 배포 환경을 담당하는 docker 이미지 등을 바로 적용할 수 있는 백업 대책을 마련해놔야할 것 같다.