이상탐지(Anomaly Detection)

이상탐지란 무엇인가?

---

1. 서론: 왜 이상탐지가 중요한가?

이상탐지(Anomaly Detection)란 정상적인 패턴에서 벗어난 데이터를 찾아내는 과정입니다.
이상 데이터는 종종 문제의 전조이며, 때로는 기회일 수도 있습니다.

일상 속 예시

• 신용카드 사기: 평소와 다른 지역에서 큰 금액 결제
• 서버 이상: 갑작스러운 트래픽 급증
• 센서 고장: 이상한 값이 지속적으로 측정됨

머신러닝에서의 역할

• 정상 데이터를 학습해 정상 범위를 파악
• 이를 벗어나는 데이터를 이상치로 분류

---

2. 이상탐지의 분류

지도학습(Supervised)

• 특징: 이상/정상 라벨 존재
• 기법: 분류 모델 (로지스틱 회귀, 의사결정트리 등)
• 주의: 이상 라벨 확보가 어려움

비지도학습(Unsupervised)

• 특징: 라벨 없음
• 기법: 클러스터링, 거리 기반 (k-NN, LOF 등)
• 활용: 이상 라벨이 없을 때 가장 널리 사용

준지도학습(Semi-supervised)

• 특징: 대부분 정상 데이터로만 학습
• 기법: Autoencoder, One-Class SVM
• 장점: 이상 데이터가 적을 때 효과적

---

3. 주요 이상탐지 기법

분류	기법 예시	설명
통계 기반	평균, 표준편차, Z-Score	통계 지표로 기준 이상값 판별
거리 기반	k-NN, LOF	이웃과 거리 기반으로 이상 탐지
밀도 기반	DBSCAN	밀도가 낮은 점을 이상치로 간주
머신러닝 기반	Isolation Forest, One-Class SVM	학습 기반 이상탐지
딥러닝 기반	Autoencoder, LSTM	복잡한 패턴 학습 및 이상 검출

---

4. 이상탐지 모델 개발 흐름

1. 데이터 수집 및 전처리

• 결측치 처리, 정규화, 특성 선택 등

2. 이상 기준 설정

• 예: 평균 ± 3표준편차, 재구성 오차 임계값 등

3. 모델 선택 및 학습

• 비지도/준지도/지도학습 모델 중 선택

4. 성능 평가

• Precision, Recall, F1-score, AUC

5. 실무 고려사항

• 불균형 데이터, 개념 변화(Concept Drift), 실시간 처리 여부

---

5. 실생활 응용 예시

• 금융 분야: 신용카드 거래나 송금 데이터에서 비정상 패턴을 실시간으로 감지해 사기를 차단합니다
  • 은행은 비정상적인 거래 금액·횟수를 발견하면 즉시 경보를 띄웁니다.
• 제조업 분야: 공장 설비의 센서 데이터나 카메라 영상을 분석해 장비 고장이나 제품 결함을 조기에 식별합니다
  • 센서에서 이상 신호가 감지되면 예지보전을 수행해 생산 차질을 줄일 수 있습니다.
• 헬스케어 분야: 환자의 바이털(signals)이나 의료 기록에서 비정상 신호를 탐지해 질병 초기 징후를 발견하고 환자 모니터링에 활용합니다
  • 심전도(ECG) 데이터에서 이상 패턴을 실시간으로 감지해 응급 상황을 예방할 수 있습니다.
• IT/인프라 분야: 서버 로그나 네트워크 트래픽 분석을 통해 침입/오류 이상 징후를 실시간으로 모니터링합니다
  • 침입탐지시스템(IDS)은 이상 패턴을 파악해 DDoS나 무단 접근 시도를 경고하고, 장애 예측 및 대응에 활용됩니다.

---

6. 마무리

오픈 데이터셋

• Kaggle - Credit Card Fraud Detection

실전 시 주의점

• 오탐/미탐(FP/FN) 비용 고려
• 이상 판단 기준 재설정 주기 필요
• 도메인 지식 적극 활용