태그: pandas

이 태그가 붙은 프로젝트

팀 프로젝트, 2026.04 ~ 2026.06

capstone-dsc (데이터 품질 점수가 모델 성능을 예측하는가)

데이터 품질 점수가 모델 성능을 예측하는지 오염 실험으로 검증

DSC 점수 엔진, 오염 실험 파이프라인, 통계 검증, 이미지와 텍스트 셀 확장

Python, pandas, scikit-learn, XGBoost, DQ4AI (데이터 오염 프레임워크), Google Colab

코드 저장소

관련 글 (5편)

• DSC가 노이즈를 '품질 양호'로 읽었다: 데이터 품질 점수의 사각지대와 signal_integrity

  데이터 품질 점수가 노이즈를 오히려 좋게 읽었다. 빼는 열화만 보던 지표 열 개에 노이즈 지표 하나를 더해 상관을 −0.16에서 +0.95로

  문제 해결  capstone-dsc (데이터 품질 점수가 모델 성능을 예측하는가)

• 가장 무거운 지표를 뺀 이유: value_accuracy 제거와 DSC 엔진 v4 (ADR-009)

  상관을 올려 준 지표가 정작 원본 없이는 계산이 안 된다는 모순을 인정하고, 검증 조건을 먼저 적은 뒤 지표를 교체한 결정

  설계 결정  capstone-dsc (데이터 품질 점수가 모델 성능을 예측하는가)

• 노이즈가 심할수록 점수가 올랐다: 자기 IQR로 이상치를 재던 지표

  전체 상관이 0.08로 나온 원인을 오염 종류별로 쪼개 찾고, 이상치 지표의 기준을 원본 분포에 고정해 0.42까지 올린 기록

  문제 해결  capstone-dsc (데이터 품질 점수가 모델 성능을 예측하는가)

• RandomForest F1 0.99는 학습이 아니라 누수였다: split-first로 바꾼 기록

  오염된 파일을 나누던 파이프라인이 test에 train 복제본을 흘리고 있어서, 먼저 나누고 train만 오염시키는 구조로 바꾼 기록

  문제 해결  capstone-dsc (데이터 품질 점수가 모델 성능을 예측하는가)

• 오염을 넣어도 점수가 안 떨어졌다: DSC 엔진 첫 버전이 결측을 못 센 이유

  데이터를 75%까지 오염시켜도 품질 점수가 2점도 안 움직이던 첫 엔진의 원인 세 가지와 같은 날 고친 기록

  문제 해결  capstone-dsc (데이터 품질 점수가 모델 성능을 예측하는가)