💭 Ideation

이번 글에서는 LoRA를 이용하여 StableDiffusion을 FineTuning하는 법에 대해 포스팅하고자 한다!LoRALow-Rank Adaptation of Large Language Models(LoRA)는 pretrained 모델의 weights를 고정하고, 그 위에 새로운 task를 위한 weights를 추가하는 방식으로 fine tuning을 진행한다.이 방식은 Trainable한 parameter의 수를 크게 줄여, 기존의 fine tuning 방식보다 훨씬 빠르다.또한, 기존의 fine tuning 방식은 모든 weights를 업데이트하는데 반해, LoRA는 일부 weights만 업데이트하기 때문에, 기존의 fine tuning 방식보다 더 적은 양의 데이터로 fine tuning을 할..

1탄에 이어서 2탄으로 돌아왔습니다,, https://pej2834.tistory.com/31 KoBERT로 다중 감정 분류 성능 개선을 위한 FineTuning 도전, 1탄 사용자 일기에 대한 다중 감정 분류를 진행하기 위해 KoBERT 파인튜닝 과정을 기록하겠습니다!✍️✍️ KoBERT모델을 아래 공식 링크를 참고하여 불러오면 됩니다. https://github.com/SKTBrain/KoBERT GitHub - pej2834.tistory.com 1탄에서 많은 삽질을 했었는데요... 2탄에서는 드디어!!!!!! KoBERT모델 성능을 개선했습니다!!!🔥🔥 1탄에서 사용한 데이터셋 이외에 또 다른 데이터셋을 추가하여 모델 학습을 진행했습니다. 추가 학습 데이터로는 아래 데이터를 사용했는데요! http..

사용자 일기에 대한 다중 감정 분류를 진행하기 위해 KoBERT 파인튜닝 과정을 기록하겠습니다!✍️✍️ KoBERT모델을 아래 공식 링크를 참고하여 불러오면 됩니다. https://github.com/SKTBrain/KoBERT GitHub - SKTBrain/KoBERT: Korean BERT pre-trained cased (KoBERT) Korean BERT pre-trained cased (KoBERT). Contribute to SKTBrain/KoBERT development by creating an account on GitHub. github.com 데이터셋은 AI Hub에서 제공한 감성 대화 말뭉치 데이터를 사용했습니다! https://aihub.or.kr/aihubdata/data/v..