서버의 인터널 디스크의 LED에 불이 들어오지 않는 경우를 겪었다.

서버에는 아주 많은 종류가 있지만....

메인 프레임급의 서버를 제외하면

주로 이런 모양의 서버를 많이 사용하는 것 같다.

그리고  HDD는 장애가 나면 교체가 쉽게

장착이 간편하게 앞에 슬롯이 있는 경우가 대부분이며

이 DISK들은 당연히 RAID로 구성이 되어

장애가 나도 온라인 상태에서 간편하게 교체가 가능하게끔 구성이 되는 경우가 거의 대부분이고

저 DISK를 흔히 인터널 디스크라고 부르는 것 같다.

그런데 저 인터널 디스크에 얼마전에

서버 한대에서 LED가 들어오지 않는 증상이 나타났다.

디스크의 LED가 정말 중요한 것이

해당 DISK의 상태를 정확하면서도 직관적으로 알려주기 때문에

(쉽게 말해서 이상이 생기면 빨간불이 들어오니....)

반드시 LED가 들어와야 하는 상황이고

유지보수 하는 업체에 문의한 결과

일단 가장 의심되는 건

이렇게 아래에 나와있는 것처럼 생긴 부품인

디스크 백플레인이라는 부품에 이상이 발생했을 가능성이었는데

그 날 바로 이것을 교체하기로 결정을 하고

업무 담당자와 협의 후에 야간에 시스템을 내리고 작업하기로 결정을 했다.

그런데 아주 쉽게 생각했던 작업은

해당 부품을 교체해도 LED가 들어오지 않으면서 뭔가 꼬이는 느낌이 들기 시작했다.

일단 유지보수 업체 엔지니어의 권유에 따라

두번째로 의심이 가는 보드를 교체해 보기로 하고

해당 부품이 오기를 기다려서

몇시간 후에 교체 하고 다시 시스템을 올렸지만

상태는 그대로였다.

결국 시간이 그렇게 흘러 밤 24시가 다 되어가는 시간에

업무 담당자에게 조치가 실패했다는 얘기와 더불어

다음날 같은 시간에 다른 부품을 교체해 보는 것으로 작업을 진행하기로 하였다.

그리고 다음날

정신이 몽롱한 상태에서 하루를 보내고

다시 작업 시간이 되서 유지보수 업체 엔지니어가 다시 들어왔고

동시에 부품 수급 업체에서 조달해 온 부품은

인터널 디스크와 보드를 연결하는 SATA CABLE 이었다.

참고로 해당 서버의 인터널 디스크 연결 방식은

앞에 DISK 꽂는 슬롯에  맞는 디스크를 꽂고 그 뒤에

디스크 백플레인이라는 것을 꽂은 후에

그 디스크 백플레인에 다시 SATA CABLE을 꽂아 보드와 연결하는 방식이었다.

엔지니어는 만반의 준비를 위해

여분의 테스트 DISK를 하나 추가로 가져온 상황이었고

테스트를 위해

원래 디스크가 꽂혀있던 1번 2번 슬롯이 아닌 3번 슬롯에 테스트 디스크를 꽂자

디스크 LED에 불이 정상적으로 들어왔다.

그리고 그 슬롯에서 LED가 켜진다는 건

보드도 디스크 백플레인도 아닌

SATA CABLE의 문제인 것으로 결론이 나기에 이르렀다.

다시 말해서

CABLE이 연결 부분이 두가닥씩 나와 있고

위 아래 슬롯 2개씩 세트로

각각 케이블 한가닥씩 보드와 디스크 간에 연결이 되는데

1번과 2번 슬롯에 연결이 되는 한가닥이 불량이었고

3번과 4번 슬롯에 연결이 되는 나머지 한가닥은 정상이었다는 사실이다.

그리고 새로온 CABLE로 교체를 해서 시스템을 올리자

해당 디스크의 LED에 불이 들어오기 시작했다.

인터널 디스크의 LED가 들어오지 않는 증상은

이런저런 원인으로 생길수가 있는 데다가

로그도 나오지 않기 때문에

그 원인 찾기가 은근히 까다로운 편에 속하는 것 같았고

결국 이틀에 걸쳐서 원인을 찾고 나서야

겨우 해결을 할 수 있었다.

이틀에 걸쳐서 고생하게 한 원인이 된 SATA CABLE.

뭐 그래도 다행인건

디스크의 LED에 불만 들어오지 않았을 뿐이지

서버에 큰 문제는 없었다는 사실이었다.

그래서 시간이 생각보다 많이 걸리긴 했지만

작업을 잘 마무리 할 수 있었던 것 같다.