LoRA, QLoRA, DoRA

سلام به همه علاقه‌مندان به هوش مصنوعی! در این ویدیو، در ابتدا سه تکنیک مهم در PEFT را بررسی خواهیم کرد: LoRA (Low-Rank Adaptation): یک روش کارآمد و سبک برای فاین-تیونینگ مدل‌های بزرگ. QLoRA (Quantized LoRA): نسخه پیشرفته‌تر LoRA که فاین-تیونینگ را با حافظه بسیار کمتری ممکن می‌کند. DoRA (Weight-Decomposed Low-Rank Adaptation): تکنیکی جدید که دقت و کارایی را حتی از LoRA هم بیشتر بهبود می دهد. سپس به یک سؤال مهم می‌پردازیم: آیا فاین-تیونینگ (Fine-Tuning) واقعاً از یادگیری درون متنی (In-Context Learning) بهتر است؟ در این راستا یکی از مقاله های سال های اخیر را بررسی می کنیم و نتایج آن ها را مورد بررسی و تحلیل قرار می دهیم.