전체 글38 [Vision Transformer Image Classification] 1.Image Patch 1. Vision Transformer 란?Vision Transformer(ViT)는 Transformer구조를 이미지 처리에 적용하기 위해 나온 기술이다. Transformer는 원래 Sequence 데이터를 처리하기 위해 나온 모델이지만 이미지 데이터는 문장처럼 Sequence 데이터가 아니기 떄문에 이미지를 Transformer가 처리 할 수 있는 sequence로 변환해야 한다. 2. Image PatchCoursera 강의를 들을 때 배웠던 내용이라 짧게만 설명하고 넘어가겠다. 예를 들어 이번 프로젝트에 쓸 데이터인 CIFAR-10 이미지를 보면 32x32x3 형태의 데이터로 돼 있는데 이 이미지를 nxn 짜리의 window를 통해 잘라주는 것이다. 만약 window가 4x4 라면 32/4 =.. 2026. 9. 13. 분류 모델 성능 평가 지표(Confusion_matrix, Precision, Recall, F1-Score) 1. Confusion Matrix(오차 행렬)이란?True/False는 모델이 맞게 평가 했는지를 나타내고 Positive/Negative 는 모델이 긍정/부정 으로 평가했다는 뜻이다. 앞서 imbd 데이터에서는 Positive = 1, Negative = 0 이였다. TP : 긍정 -> 긍정 으로 예측TN : 부정 -> 부정 으로 예측FP : 부정 -> 긍정 으로 예측FN : 긍정 -> 부정 으로 예측 2. 정밀도(precision)'Positive' 라고 예측한 것 중에서 맞은 비율이다. 즉 TP/(TP + FP)가 되는 것이다. 내가 Positive라고 판단한 것 들이 얼마나 믿을 만한가? 를 보는 지표이며 FP가 발생하는 걸 피해야 할 때 중요하게 봐야 할 지표이다. 위 그림과 같이 스팸 이메일.. 2026. 9. 12. [Hugging Face] Pre-trained Model Fine-tuning (3. Train Loss vs Validation Loss) 0. Train Loss vs Validation Loss이전 포스트에서 Training Loss와 Validation Loss 를 비교해 모델이 제대로 fitting이 되었는지 overfitting이 되지는 않았는지 등을 판단 할 수 있다고 했는데 여기서 조금 더 자세히 알아보자. 1) Train Loss 와 Validation Loss 의 의미- Train Loss : 학습에 실제로 사용한 데이터에서 모델이 얼마나 틀리는지 나타낸 지표. 일반적으로 학습이 진행 되면서 점점 잘 맞추기 때문에 loss가 낮아지는 경향을 보임 - Validation Loss : 학습에는 사용하지 않는 validation 데이터에서 모델이 얼마나 틀리는지 나타낸 지표. 모델이 일반적인 패턴을 잘 학습 했다면 loss가 낮아.. 2026. 9. 6. [Hugging Face] Pre-trained Model Fine-tuning (2. Fine-tuning) 1. DataLoader 만들기from torch.utils.data import DataLoadertrain_loader = DataLoader( train_dataset, batch_size=16, shuffle=True)val_loader = DataLoader( val_dataset, batch_size=16, shuffle=False)DataLoader는 Dataset을 batch 단위로 꺼내주는 역할을 한다. 예를 들어 지금 train_dataset 이 4000개에 batch_size가 16이기 때문에 16개 * 250 해서 총 4000개의 데이터를 넣어주는 것이다.보통 Validation에서는 순서를 섞을 필요가 없기 때문에 그냥 넣는다. 2.GPU 설정imp.. 2026. 9. 2. [Hugging Face] Pre-trained Model Fine-tuning (1. 데이터 셋 준비하기) 0. Fine-tuning 이란?Hugging Face 를 이용하면 이미 대규모로 학습을 진행시켜놓은 모델을 그대로 가져다 쓸 수 있는 장점이 있었다. 하지만 그 모델만 그대로 이용해서 내가 원하는 특정 작업을 수행 할 수는 없다. 그때 필요한 것이 fine-tuning 이라는 기술이다. 즉 한마디로 표현하면 "Pre-trained 된 모델을 내 마음대로 쓰기위해 미세조정 하는 과정" 이라고 생각하면 된다.처음부터 모델을 학습시킨다면 방대한 데이터를 갖고 엄청난 시간과 계산을 통해 모델을 학습 시켜야 하지만 이미 만들어진 모델을 사용하면 비교적 작은 데이터로 특정 작업에 최적화 시킬 수 있는 것이다. 1. BERT이번엔 BERT라는 모델을 사용해 영화 리뷰의 긍정/부정 분류 모델을 만드려고 한다. 앞 .. 2026. 8. 30. [HuggingFace]Text_Generation(Decoder-only) 0. Decoder 만을 활용하는 Text_GenerationChat GPT와 같은 생성형 LLM은 Decoder-only Transformer 를 사용한다. 조금 정리를 해보면구조대표적 용도예시Encoder-only문장 이해/분류BERTEncoder-Decoder입력을 다른 시퀀스로 변환번역 모델Decoder-only 텍스트 생성생성형 LLM이렇게 정리 할 수 있는데 Encoder 에서는 input 값을 해석하고 이해하는 부분, Decoder는 새로운 시퀀스를 만들어 내는 부분 이기 때문에 각각의 쓰임이 다르다. 우리가 만들었던 번역모델을 생각해보면 영어 라는 input을 이해하고 독일어 라는 새로운 시퀀스를 만들어내야 했기 때문에 Encoder-Decoder를 사용했던 것이다. 다만, GPT와 같은.. 2026. 8. 29. 이전 1 2 3 4 ··· 7 다음
