Case A04응용 분석 · 모형 선택

Financial AI Model Study

수업 과제 네 개를 묶어, 모형이 복잡해질수록 정말 성능이 좋아지는지 직접 비교했습니다.

기간 · 2024년 가을학기

역할 · 개인 프로젝트 시리즈

원본 · GitHub 저장소

프로젝트 흐름

먼저 흐름을 잡으면 이렇습니다.

질문

처음 잡은 문제

좋아 보이는 모델을 쓰는 것과 실제로 더 나은 모델을 고르는 것은 다르다고 보고, 과제들을 비교 관점으로 다시 묶었습니다.

근거

확인한 자료

회귀, PCA, SVM/SVR, ANN/DNN을 각각 학습·검증·테스트 성능과 함께 보면서 복잡도의 효과를 확인했습니다.

판단

생각이 정리된 부분

일부 과제에서는 단순한 모형이 더 안정적이었고, 더 깊은 신경망이 항상 의미 있는 개선을 만들지는 않았습니다.

범위

아직 선을 그은 부분

수업 과제의 결과라 운영 성과로 말하지 않고, 모델 선택 기준을 세운 경험으로 정리했습니다.

01 · 시작

처음 잡은 질문

모형을 더 복잡하게 만드는 선택은 언제 도움이 되고, 언제 부담만 늘릴까?

02 · 근거

제가 확인한 자료

금융·공개 데이터를 활용한 4개 응용 과제
학습, 검증, 테스트 결과 비교
RMSE, MSE, ROC-AUC, scree plot, tuning surface와 loss curve
Pythonscikit-learnTensorFlow/KerasPCASVM/SVRANN/DNN

03 · 전개

분석은 이렇게 진행했습니다

  1. 01

    모형 복잡도 비교

    별도 평가 데이터의 성능을 기준으로 다항회귀 차수와 decision tree 설정을 비교했습니다.

  2. 02

    표현과 정규화 분석

    PCA, 표준화, Ridge와 Lasso를 적용해 데이터 구조와 overfitting을 살펴봤습니다.

  3. 03

    Support Vector 모형 조정

    Iowa housing 데이터에서 Linear SVR 파라미터 조합을 비교했습니다.

  4. 04

    Neural Network 깊이 비교

    선형회귀, 은닉층 1개의 ANN과 은닉층 3개의 DNN을 비교했습니다.

04 · 결론

숫자에서 읽은 것

국가위험 예시에서 보고된 첫 두 PCA 주성분이 전체 분산의 약 88.4%를 설명했습니다.

비교한 조합에서는 C=1, epsilon=50인 Linear SVR의 성능이 가장 좋았습니다.

더 깊은 DNN은 작은 ANN과 비교해 큰 개선을 보이지 않았습니다.

주장하지 않는 것

  • 실무 적용 성과를 주장하지 않습니다. 과제 단위의 비교 실험입니다.
  • 특정 모델이 항상 낫다고 말하지 않습니다. 데이터와 목적에 따라 달라집니다.

05 · 적용

어디에 활용할 수 있나

좋아 보이는 모델보다 검증 결과가 납득되는 모델을 고르는 기준을 세운 작업입니다.

06 · 경계

아직 단정하지 않는 부분

  • •수업 과제 결과라 데이터 조건과 실험 범위가 제한적입니다.
  • •과제별 실험 환경이 달라 하나의 운영 성능처럼 묶지 않았습니다.
  • •수업 과제의 성능 수치를 실제 운영 환경의 성과로 표현할 수 없습니다.

07 · 근거 화면

표와 그래프로 확인하기

다항회귀 차수별 validation RMSE

보고서 근거
Degree 144,167
Degree 229,607
Degree 327,122
Degree 426,114
Degree 524,594

과제 보고서에 기록된 validation RMSE를 차수별로 비교합니다. 이 그래프는 복잡도가 커질수록 성능이 자동으로 좋아지는지 살펴보기 위한 근거입니다.

근거 · Financial AI assignment 1 report

PCA 설명분산

보고서 근거
PC164.03%
PC224.37%
PC39.77%
PC41.83%

보고서에서 PC1과 PC2가 각각 64.03%, 24.37%를 설명해 합계 약 88.4%였습니다. 특정 국가위험 예시의 수업 결과이며 일반적인 금융 예측 성능을 뜻하지 않습니다.

근거 · Financial AI assignment 1 report · national-risk example

Linear SVR tuning 결과

보고서 근거

C

1.0

epsilon

50

Train MSE

1,782.2306

Validation MSE

1,944.5111

비교한 조합 중 C=1, epsilon=50이 보고서상 가장 낮은 validation MSE를 보였습니다. 제한된 수업 실험의 결과이며 외부 데이터나 production 환경의 성능을 보장하지 않습니다.

근거 · Financial AI assignment 3 report · Iowa housing example

ANN과 DNN validation 관찰

보고서 근거

ANN

은닉층 1개 · 비교 기준 모형

DNN

은닉층 3개 · 추가 복잡도의 개선 제한

보고서는 더 깊은 DNN이 작은 ANN보다 의미 있는 개선을 보이지 않았다고 해석했습니다. 문서 안의 일부 최소 손실 표기가 일관되지 않아 정확한 수치 비교 대신 정성적 결론만 표시합니다.

근거 · Financial AI assignment 4 report