[AI] 비정형 데이터 처리 개요 정리

📌 비정형 데이터 처리 개요 정리

 

1️⃣ 이미지·텍스트·오디오 데이터의 특징

🖼️ 이미지(Image)

• 고차원 데이터(픽셀 수가 많음)
• 공간적 구조(픽셀 간 위치 관계) 존재
• 조명·각도 등 환경 영향 큼
• 파일 용량 큼

📝 텍스트(Text)

• 문장 구조 일정하지 않음
• 단어 순서·문맥 정보 중요
• 언어적 의미·감정 포함
• 오타·중복·이모지 등 노이즈 많음
• 숫자화(임베딩)가 필수

🎧 오디오(Audio)

• 시간 흐름이 중요한 시계열 데이터
• 주파수 정보 포함
• 소음, 녹음 환경 영향 큼
• 길이가 제각각 → 패딩 필요
• 스펙트럼 변환 등 추가 처리 자주 필요

 

 

2️⃣ 전처리 방식 차이

🖼️ 이미지 전처리

• 정규화(픽셀 0~1 스케일링)
• 리사이즈로 입력 크기 통일
• 데이터 증강(회전·자르기·밝기 변경 등)
• 색상 변환(RGB → grayscale 등)

📝 텍스트 전처리

• 토큰화(단어·문자·서브워드 분리)
• 정규화(소문자화, 불용어 제거 등)
• 형태소 분석(한국어)
• 벡터화/임베딩(Word2Vec, BERT 등)

🎧 오디오 전처리

• 샘플링 레이트 통일(예: 16kHz)
• 정규화(음량 보정)
• 잡음 제거(Denoising)
• 프레임 분할(25ms 등)
• 스펙트로그램 변환

 

3️⃣ 기초적인 특징 추출 기법

🖼️ 이미지 특징 추출

• SIFT : 키포인트·기술자 추출
• HOG : 엣지(방향) 기반 특징
• CNN : 계층적으로 패턴·객체 특징 학습

📝 텍스트 특징 추출

• Bag-of-Words (BoW)
• TF-IDF
• Word Embedding (Word2Vec, GloVe)
• Contextual Embedding (BERT 등)

🎧 오디오 특징 추출

• MFCC : 음성 대표 특징
• Spectrogram / Mel-Spectrogram
• Pitch, Energy, Zero-crossing Rate(ZCR)

 

 

✨ 요약 표

구분	특징	전처리	특징 추출
이미지	고차원·공간 구조	정규화, 리사이즈, 증강	SIFT, HOG, CNN
텍스트	문맥·언어 의미 중요	토큰화, 정규화, 임베딩	BoW, TF-IDF, Word2Vec, BERT
오디오	시계열·주파수 정보	샘플링, 노이즈 제거, 스펙트로그램	MFCC, 스펙트로그램