[파이썬] 노답 디자이너의 코딩 배우기 - LLM 기반 프로젝트 (초심자 개념 정리)

솔직히 mps니 .to(device)니 토크나이저 등등 모르는 단어가 너무 많아서 overwhelmed 되는 것 같아 살려줘 😭

---

😭 완전 공감… 너무 많은 개념이 한꺼번에 쏟아지면 멘붕 오는 거 진짜 당연한 거야!

👉 지금 가장 중요한 건 “전체 개념을 잡고, 하나씩 익히는 것!”

👉 너무 급하게 다 이해하려고 하지 말고, 천천히 핵심 개념부터 익히면 돼! 😎🔥

 

🔥 LLM 모델 코딩에서 꼭 알아야 할 개념 5가지 (초심자용 개념 정리!)

 

💡 지금 네가 겪고 있는 MPS, to(device), 토크나이저 같은 개념들을 쉽게 정리해줄게!

💡 이 5가지만 알면, 나머지는 자연스럽게 이해될 거야!

 

1️⃣ MPS → Mac에서 GPU를 쓰는 방법!

✅ **MPS(Metal Performance Shaders)**는 Mac에서 GPU 가속을 사용할 수 있도록 해주는 기능!
✅ Windows의 CUDA(엔비디아 GPU) 대신, Mac에서는 MPS를 사용해야 함!

👉 쉽게 말하면?
✔ Windows에서는 cuda를 써야 하고,
✔ Mac에서는 mps를 써야 GPU 가속을 사용할 수 있음!

📌 코드 예제

import torch

device = torch.device("mps" if torch.backends.mps.is_available() else "cpu")
print(device)  # "mps" 또는 "cpu" 출력됨!

👉 이제 Mac에서 MPS가 지원되면 자동으로 GPU 사용! 😎🔥

 

2️⃣ to(device) → 데이터를 GPU로 보내는 방법!

 

✅ to(device)는 모델과 데이터를 같은 장치(GPU/CPU)에서 연산하도록 해주는 함수!

 

👉 왜 필요할까?

🔥 모델이 GPU(mps)에 있는데, 입력 데이터가 CPU에 있으면 충돌(에러) 발생!

🔥 그래서 모델과 입력 데이터를 같은 곳(GPU/CPU)으로 보내야 함!

 

📌 코드 예제

model.to(device)  # 모델을 GPU(MPS)로 이동!
inputs = tokenizer("안녕하세요", return_tensors="pt").to(device)  # 데이터도 GPU로 이동!

🔥 이제 모델과 데이터가 같은 장치에서 실행됨! (에러 방지!)

 

3️⃣ 토크나이저(Tokenization) → 텍스트를 숫자로 변환하는 과정!

 

✅ LLM 모델은 텍스트를 이해 못 하고, 숫자만 이해함!

✅ 그래서 토크나이저(tokenizer)를 사용해서 문장을 숫자로 변환해야 함!

 

📌 코드 예제

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("beomi/kcbert-base")  # 한국어 전용 토크나이저!
tokens = tokenizer.tokenize("안녕하세요!")
print(tokens)  # ['안', '##녕', '##하세요', '!']

🔥 즉, 토크나이저는 문장을 작은 조각(토큰)으로 나누고 숫자로 변환해줌! 😎

 

4️⃣ AutoModelForMaskedLM → 마스크(MASK)된 단어를 예측하는 모델!

 

✅ AutoModelForMaskedLM은 문장에서 가려진 [MASK] 단어를 맞추는 모델!

✅ BERT 같은 모델이 이런 Masked Language Modeling(MLM) 기능을 가짐.

 

📌 코드 예제

from transformers import AutoModelForMaskedLM

model = AutoModelForMaskedLM.from_pretrained("beomi/kcbert-base")

🔥 이제 나는 [MASK]를 좋아해 같은 문장을 주면, AI가 [MASK]에 들어갈 단어를 예측해줌!

 

5️⃣ torch.argmax() → 가장 확률 높은 단어 찾기!

 

✅ torch.argmax()는 AI가 예측한 결과 중에서 가장 확률 높은 단어를 선택하는 함수!

 

📌 코드 예제

import torch

predictions = torch.tensor([[0.1, 0.3, 0.8, 0.2]])  # 예측 확률값들
best_index = torch.argmax(predictions, dim=-1)  # 가장 높은 확률값의 위치 찾기
print(best_index)  # 출력: tensor([2]) (가장 확률 높은 인덱스)

🔥 즉, torch.argmax()는 “이 중에서 가장 확률 높은 거 골라줘!” 라고 할 때 씀! 😎🔥

 

---

🔥 결론: 이 5가지만 기억하면 끝!

 

개념	설명
1️⃣ MPS	Mac에서 GPU 가속을 사용하는 기능 (Windows는 CUDA)
2️⃣ to(device)	모델과 데이터를 같은 장치(GPU/CPU)에서 실행하도록 맞추기
3️⃣ 토크나이저	문장을 숫자로 변환하는 도구
4️⃣ AutoModelForMaskedLM	[MASK] 부분을 예측하는 모델 (BERT 기반)
5️⃣ torch.argmax()	가장 확률 높은 예측 결과를 선택하는 함수

 

🔥 이제 하나씩 개념을 이해하면서 천천히 진행하면 돼!

🔥 너무 부담 갖지 말고, “이해 안 가면 물어보면 된다!” 라고 생각하면 돼!