تحلیل مدل‌های مطرح ترنسفورمر در NLP: BERT، GPT و T5

۱. مقدمه‌ای بر تحول NLP و نقش ترنسفورمر

در گذشته، مسیر پردازش زبان طبیعی (NLP) با مدل‌هایی مانند n-gram، مدل‌های مارکوف پنهان (HMM) و بعدها شبکه‌های عصبی بازگشتی (RNN) و LSTM پیش می‌رفت. این مدل‌ها هرچند در زمان خود پیشرفته محسوب می‌شدند، اما توانایی محدودی در درک وابستگی‌های طولانی و معناهای پیچیده در زبان داشتند. برای مثال، اگر بخواهیم مدل بفهمد که در جمله‌ای طولانی، یک ضمیر به کدام اسم برمی‌گردد، معمولاً به مشکل برمی‌خورد.

تحول بزرگ زمانی رخ داد که مقاله معروف "Attention is All You Need" توسط محققان گوگل در سال ۲۰۱۷ منتشر شد. این مقاله معماری Transformer را معرفی کرد که بدون نیاز به مکانیزم‌های ترتیبی مثل RNN، توانست وابستگی‌های بلندمدت و پیچیده در زبان را با دقت بالا مدل‌سازی کند. ترنسفورمر پایه‌گذار عصری شد که در آن مدل‌هایی مانند BERT، GPT و T5 متولد شدند و هر کدام تحول بزرگی در یک حوزه خاص از NLP ایجاد کردند.

۲. معماری ترنسفورمر: ستون فقرات NLP مدرن

ترنسفورمر ساختاری کاملاً متفاوت با مدل‌های قبلی دارد. برخلاف RNN که داده‌ها را به صورت ترتیبی پردازش می‌کند، ترنسفورمر به کل جمله به‌صورت موازی نگاه می‌کند و اجازه می‌دهد هر کلمه نسبت به سایر کلمات توجه نشان دهد.

۲.۱ Self-Attention چیه؟

فرض کنید جمله‌ای مانند:

"The book that you gave me yesterday was amazing."

مدل باید متوجه شود که "was amazing" به "book" برمی‌گردد، نه "you" یا "yesterday". در Self-Attention، برای هر کلمه سه بردار ساخته می‌شود:

• Query (پرسش): نماینده نیاز فعلی هر کلمه به اطلاعات.
• Key (کلید): مشخص‌کننده ویژگی‌های دیگر کلمات.
• Value (مقدار): اطلاعات محتوایی مرتبط.

این سه بردار به مدل اجازه می‌دهند ارتباط معنایی بین تمام کلمات یک جمله را محاسبه کند، حتی اگر فاصله زیادی با هم داشته باشند.

۲.۲ Multi-Head Attention

در این بخش، چندین Self-Attention به‌صورت موازی انجام می‌شود. هر Head مسئول درک یک نوع رابطه خاص است:

• Head اول ممکن است تمرکز روی روابط دستوری داشته باشد.
• Head دوم روی تطبیق ضمیرها با مرجع.
• Head سوم ممکن است تمرکز بر ترکیب‌های معنایی رایج داشته باشد.

این تنوع باعث می‌شود مدل چندلایه و عمیق‌تر زبان را تحلیل کند.

۲.۳ Positional Encoding

چون ترنسفورمر برخلاف RNN ترتیب کلمات را به‌صورت ذاتی نمی‌فهمد، از رمزگذاری موقعیت استفاده می‌کند. این بردارها به مدل کمک می‌کنند تا موقعیت نسبی و مطلق کلمات را تشخیص دهد. این اطلاعات به Embedding کلمات افزوده می‌شود تا ترتیب نیز به‌صورت ضمنی حفظ شود.

۲.۴ تفاوت Encoder و Decoder

• Encoder کل ورودی را تحلیل می‌کند و از آن یک نمایش عددی (برداری) می‌سازد.
• Decoder از این نمایش عددی برای تولید متن استفاده می‌کند، معمولاً به‌صورت مرحله‌به‌مرحله (autoregressive).

۳. مدل BERT: متخصص درک دقیق متن

۳.۱ معرفی BERT

BERT (Bidirectional Encoder Representations from Transformers) در سال ۲۰۱۸ توسط گوگل معرفی شد و به‌سرعت به مدل پایه بسیاری از وظایف NLP تبدیل شد. BERT برخلاف مدل‌های قبلی که تنها از یک جهت (چپ به راست یا بالعکس) متن را تحلیل می‌کردند، هر دو جهت جمله را به‌صورت هم‌زمان می‌بیند.

۳.۲ ساختار فنی BERT

ورودی BERT ترکیبی از توکن‌ها و Embeddingهاست:

• [CLS] در ابتدای جمله اضافه می‌شود و نماینده کل جمله است (مثلاً در دسته‌بندی).
• [SEP] برای جدا کردن دو جمله استفاده می‌شود.
• Embedding نهایی شامل جمع سه بردار است:
  • Token Embedding
  • Segment Embedding
  • Positional Embedding

۳.۳ نحوه آموزش BERT

✅ Masked Language Modeling (MLM)

در این روش، حدود ۱۵٪ از کلمات ورودی به صورت تصادفی Mask می‌شوند و مدل باید آن‌ها را پیش‌بینی کند. این کار باعث می‌شود مدل بتواند معنا را از کل جمله استنباط کند و به جلو یا عقب محدود نباشد.

✅ Next Sentence Prediction (NSP)

در این وظیفه، به مدل دو جمله داده می‌شود و باید تشخیص دهد که آیا جمله دوم ادامه منطقی جمله اول هست یا نه. این کمک می‌کند مدل روابط بین جملات را بهتر درک کند (مفید در کاربردهایی مثل QA و NLI).

۳.۴ نسخه‌های مختلف BERT

۳.۵ کاربردهای BERT در دنیای واقعی

• تحلیل احساسات در شبکه‌های اجتماعی
• پاسخ به سوال (Question Answering) مثل Google Search
• تشخیص موجودیت‌های نام‌دار (NER)مثل اسم افراد و مکان‌ها
• دسته‌بندی متن در سیستم‌های فیلترینگ یا توصیه‌گر
• سیستم‌های تطبیق سوال و پاسخ در چت‌بات‌ها

۳.۶ نقاط قوت و ضعف BERT

۴. مدل GPT: استاد تولید متن

۴.۱ GPT چیست و چرا اهمیت دارد؟

GPT (Generative Pre-trained Transformer) که توسط شرکت OpenAI معرفی شد، برخلاف BERT، نه برای تحلیل بلکه برای تولید متن طراحی شده است. این مدل فقط از بخش Decoder ترنسفورمر استفاده می‌کند و قابلیت فوق‌العاده‌ای در نوشتن، ادامه‌دادن، پاسخ‌دادن، و حتی خلاقیت زبانی دارد.

نکته جالب اینجاست که GPT جمله را فقط از چپ به راست می‌بیند. یعنی در هر لحظه فقط به کلمات قبلی نگاه می‌کند و دنباله را پیش‌بینی می‌کند. این ویژگی آن را مناسب تولید متن، چت‌بات‌ها، داستان‌نویسی، ترجمه، خلاصه‌سازی و حتی کدنویسی کرده است.

۴.۲ معماری فنی GPT

GPT از یک Decoder stack تشکیل شده که در آن چندین لایه attention به‌صورت پشت سر هم قرار دارند. برای حفظ جهت‌دار بودن مدل، از تکنیکی به نام masked self-attention استفاده می‌شود که فقط اجازه نگاه به سمت چپ توالی را می‌دهد.

مراحل پردازش:

• ورودی ابتدا Tokenize می‌شود (معمولاً با BPE).
• سپس به Embedding تبدیل شده و با Positional Encoding ترکیب می‌شود.
• در هر لایه، مدل با Masked Attention توکن بعدی را پیش‌بینی می‌کند.

۴.۳ نسخه‌های مختلف GPT

۴.۴ یادگیری در GPT

GPT با یک هدف ساده آموزش داده می‌شود:

Language Modeling: پیش‌بینی توکن بعدی در یک توالی متنی.

به همین دلیل، برخلاف BERT که از Mask استفاده می‌کرد، GPT به توالی کامل نیاز ندارد و می‌تواند مرحله‌به‌مرحله متن را بسازد.

۴.۵ کاربردهای واقعی GPT

GPT در طیف وسیعی از وظایف NLP کاربرد دارد، به‌خصوص در مواردی که تولید زبان طبیعی مهم است:

• چت‌بات‌ها (مانند ChatGPT)
• تولید محتوا (متن، داستان، خبر، ایمیل)
• ترجمه ماشینی
• خلاصه‌سازی متن
• پاسخ به سوال
• کدنویسی و تکمیل کد
• تحلیل معنایی

مثال کاربردی: 
فرض کنید یک شرکت پشتیبانی مشتری دارد. با GPT می‌تواند به‌صورت خودکار به ایمیل‌های کاربران پاسخ بدهد، بدون اینکه نیاز به الگوهای ثابت باشد.

۴.۶ نقاط قوت و ضعف GPT

۵. مدل T5: انعطاف‌پذیرترین مدل تبدیل متن

۵.۱ T5 چیست و چه تفاوتی دارد؟

T5 (Text-To-Text Transfer Transformer) که توسط گوگل در سال ۲۰۱۹ معرفی شد، یک ایده انقلابی را وارد میدان کرد:

"همه‌ی وظایف زبانی را به‌عنوان یک مسئله تبدیل متن به متن ببینیم."

به عبارت دیگر، T5 حتی دسته‌بندی، ترجمه، پاسخ‌گویی به سوال، و خلاصه‌سازی را هم به‌صورت «تبدیل یک ورودی متنی به خروجی متنی» مدل‌سازی می‌کند.

برای مثال:

• ورودی: 
  translate English to German: How are you? 
  خروجی: 
  Wie geht es dir?
• ورودی: 
  summarize: The article discusses ... 
  خروجی: 
  The article summarizes ...

۵.۲ معماری فنی T5

برخلاف BERT (فقط Encoder) و GPT (فقط Decoder)، مدل T5 از Encoder-Decoder کامل استفاده می‌کند، مشابه معماری کامل ترنسفورمر.

اجزای کلیدی:

• Encoder: تجزیه و تحلیل ورودی متنی
• Decoder: تولید متن خروجی به‌صورت مرحله‌به‌مرحله
• Preprocessing یکسان: همه چیز به یک فرمت متنی تبدیل می‌شود

۵.۳ نحوه آموزش T5

T5 با استفاده از مجموعه عظیمی از داده‌ها به نام C4 (Colossal Clean Crawled Corpus) آموزش دید. همچنین برای یادگیری بهتر، همه وظایف به‌صورت دستورالعمل‌محور (prompt-based) فرموله شدند.

هدف آموزشی آن مانند GPT، پیش‌بینی توکن بعدی است، اما در زمینه‌های متنوع (خلاصه‌سازی، ترجمه، QA و...).

۵.۴ نسخه‌های مختلف T5

نسخه‌های بهینه‌تری مانند Flan-T5 نیز توسعه یافته‌اند که عملکرد بهتری در وظایف دستورالعمل‌محور دارند.

۵.۵ کاربردهای T5

T5 برای هر کاری که نیاز به «تبدیل ورودی متنی به خروجی متنی» دارد، مناسب است:

• ترجمه زبان
• خلاصه‌سازی مقاله
• پاسخ به سوال
• تبدیل سوالات به پاسخ‌های چندگزینه‌ای
• دسته‌بندی متنی به‌صورت متنی
• اصلاح گرامر

مثال: 
ورودی: fix grammar: he go to school yesterday 
خروجی: He went to school yesterday.

۵.۶ نقاط قوت و ضعف T5

۶. جمع‌بندی و مقایسه نهایی

نظرات (0)