느리지만 꾸준히, 코딩

이상탐지란 무엇인가?1. 서론: 왜 이상탐지가 중요한가?이상탐지(Anomaly Detection)란 정상적인 패턴에서 벗어난 데이터를 찾아내는 과정입니다.이상 데이터는 종종 문제의 전조이며, 때로는 기회일 수도 있습니다.일상 속 예시신용카드 사기: 평소와 다른 지역에서 큰 금액 결제서버 이상: 갑작스러운 트래픽 급증센서 고장: 이상한 값이 지속적으로 측정됨머신러닝에서의 역할정상 데이터를 학습해 정상 범위를 파악이를 벗어나는 데이터를 이상치로 분류2. 이상탐지의 분류지도학습(Supervised)특징: 이상/정상 라벨 존재기법: 분류 모델 (로지스틱 회귀, 의사결정트리 등)주의: 이상 라벨 확보가 어려움비지도학습(Unsupervised)특징: 라벨 없음기법: 클러스터링, 거리 기반 (k-NN, LOF 등)활..

1. 서론이번 Information Retrieval(이하 IR) 대회는 “질문과 이전 대화 히스토리를 보고 최적의 문서를 찾아 답변을 생성”하는 과제를 해결하는 과정이었습니다. 2025-04-16 부터 2025-04-22 까지 단 1주일​이라는 짧은 기간 동안 빠르게 가설을 세우고, 실험을 반복하며, 점차 성능을 끌어올렸습니다. 최종적으로는 0.8833이라는 만족스러운 점수에 도달했고, 그 과정에서 검색 · 분류 · 재랭킹 전반에 걸친 노하우를 축적했습니다.2. 대회 목표 & 범위구분 내용궁극적 목표다양한 질의 유형(과학 지식 질문 vs 일반 질문)에 대해 정확하고 빠른 문서 검색 파이프라인 구축제한 사항1. 과학 · 지식 질문에만 문서 검색 적용2. 그 외 질문은 문서 검색 X평가지표대회 측에서 제공..

본 포스팅은 부트캠프 과정에서 수행한 LangChain 기반의 문서 검색 및 Q&A 자동화 시스템(RAG, Retrieval-Augmented Generation) 구축 프로젝트에 대한 기록입니다. 프로젝트 배경 및 목적부트캠프 과정에서 제공되는 다양한 정보가 여러 채널에 분산되어 있어 사용자들이 필요한 정보를 신속하게 얻기 어려운 문제가 있었습니다. 복잡한 행정 절차와 교육 정보를 사용자가 쉽게 이해할 수 있도록 지원하기 위해, 사용자 질문에 즉각적이고 정확한 답변을 제공할 수 있는 RAG 기반의 챗봇을 구현하게 되었습니다.프로젝트 기간: 2025.04.02 ~ 2025.04.08비즈니스 문제 정의 및 KPI문제 상황: 정보가 여러 곳에 흩어져 있어 검색의 불편함이 발생목표: 내부 문서 정보를 빠르고 ..

대회 개요대회명Dialogue Summarization | 일상 대화 요약대회일정2025.03.12 ~ 2025.03.24팀One Team 6th대회 소개주어진 데이터를 활용하여 일상 대화에 대한 요약을 효과적으로 생성하는 모델을 개발제공되는 데이터셋은 오직 "대화문과 요약문"https://github.com/cylnlp/dialogsum평가지표Rouge-1모델 요약본과 참조 요약본 간에 겹치는 unigram의 수를 비교Rouge-2모델 요약본과 참조 요약본 간에 겹치는 bigram의 수를 비교Rouge-LLCS 기법을 이용해 최장 길이로 매칭되는 문자열을 측정합니다. n-gram에서 n을 고정하지 않고, 단어의 등장 순서가 동일한 빈도수를 모두 세기 때문에 보다 유연한 성능 비교ROUGE-F1ROUGE..

업스테이지 Computer Vision대회 개요대회명문서 타입 분류를 위한 이미지 분류 대회대회 일정 (Timeline)프로젝트 전체 기간: 2월 14일 (금) ~ 2월 25일 (화)팀:팀명: 오합지존 Idle대회 소개Computer Vision에서 가장 중요한 태스크 중 하나인 이미지 분류 문제.문서 타입 분류를 위한 이미지 분류 대회.금융, 의료, 보험, 물류 등 다양한 산업에서 활용됨.대량의 문서 이미지를 식별하고 자동화 가능.데이터 개요총 17종의 문서 클래스입력 (Input): 3,140장의 이미지출력 (Output): 각 이미지의 문서 클래스 예측 (CSV 파일 제출)기술적 기대 효과딥러닝 기반 이미지 분류 모델 구축Backbone 모델 활용 및 성능 최적화현업에서 사용하는 실 데이터 기반 학..

dim이란?Tensor에서 dim을 지정하는 이유는 데이터를 특정 차원(축, dimension) 기준으로 연산하기 위해서입니다.머신러닝과 딥러닝에서는 다차원 데이터(Tensor)를 다룰 때 차원을 기준으로 합(sum), 평균(mean), 최대값(max) 등의 연산을 수행해야 합니다.  코드 예시# 3x3 Tensor 생성tensor = torch.tensor([[1, 2, 3], [4, 5, 6], [7, 8, 9]])# 전체 합계print(torch.sum(tensor)) # 45# 열을 기준으로 합계 (dim=0) → 세로 방향 합print(torch.sum(tensor, dim=0)) # tensor([12, 15..

여러 층으로 구성된 뉴럴 네트워크(Neural Network)의 구조를 이해하기 쉽게 정리해봄📌 뉴럴 네트워크를 학생들이 여러 줄로 서 있는 구조로 이해하기👉 상황 4명의 학생(A, B, C, D)이 한 줄로만 서 있는 것이 아니라 여러 층(줄)으로 서 있음. 즉, 한 줄이 아니라 입력층(첫 번째 줄), 은닉층(중간 줄), 출력층(마지막 줄)으로 구성됨. 각 학생(뉴런)은 자신이 받은 정보를 가공해서 다음 층으로 전달함.⏳ Step 1: 순전파 (Forward Propagation)학생들이 여러 줄(층)로 서 있음💡 예제:문제 = "5 + 3 = ?"을 풀어라 입력층 (Input Layer)은닉층 (Hidden Layer)출력층 (Output Layer)A1: "5를 입력"B1: "이걸 2배..

1️⃣ 머신러닝 & 최적화 기법🔹 퍼셉트론 (Perceptron)가장 단순한 인공 신경망 모델로 이진 분류에 사용활성화 함수: 스텝 함수가중치와 편향을 조정하여 최적의 결정 경계를 찾음🔹 가중치 초기화Xavier 초기화: tanh, sigmoid 활성화 함수에 적합, 분산 유지He 초기화: ReLU 계열에 적합, 기울기 소실 방지🔹 경사 하강법 (Gradient Descent)손실 함수의 기울기를 이용해 모델 최적화확률적 경사 하강법 (SGD): 일부 샘플(batch)만 사용하여 연산량 절약모멘텀 (Momentum): 이전 기울기를 반영해 더 빠르고 안정적인 학습NAG (Nesterov Accelerated Gradient): 기울기를 미리 예측하여 정밀한 업데이트 수행Adam: Momentum과 ..

프로젝트 소개기상 데이터를 기반으로 MLOps를 설계하고 운영하는 데 중점을 둠MLOps의 실제 적용 사례를 통해 데이터 활용에서 서비스 배포까지의 전 과정을 경험해보기기간: 2025. 01. 16 ~ 2025. 02.03팀원: 5명역할: MLOps 엔지니어링 & CI/CD 파이프라인 구축주요 작업데이터 수집 및 전처리모델 개발 및 학습MLOps 파이프라인 구축모니터링 및 유지보수아키텍처 설계 다이어그램많은 MLOps 도구들프로젝트 초기에는 다양한 MLOps도구들이 있다는것을 알 수 있었습니다.하지만, 많은 도구들이 왜 나왔고 어떠한 용도로 사용되어야 하는지 알기 힘들었습니다. 저희 팀은 단순히 MLOps 도구들을 경험해보는 것보다, 작은 단계부터 직접 구축하며 전체적인 흐름을 이해하는 것이 훨씬 더 실..