Gemma یا Qwen برای فارسی؛ امتیاز ۶۷٫۸۵ برندهٔ قطعی نمی‌سازد

برای تولید و فهم متن فارسی در اجرای محلی، Gemma 3 27B IT نقطهٔ شروع قوی‌تری برای سنجش کیفیت پاسخ است؛ Qwen2.5-32B-Instruct نیز وقتی شرایط استفاده و امکانات استقرار وزن بیشتری دارند، گزینه‌ای جدی می‌ماند. در رتبه‌بندی فارسی Open Persian LLM Leaderboard، این دو نسخه به‌ترتیب امتیاز ۶۷٫۸۵ و ۶۴٫۴۶ گرفته‌اند. فاصلهٔ آن‌ها برتری در آزمون‌های همان جدول را نشان می‌دهد، نه برتری قطعی در هر کار فارسی.

برای انتخاب میان این دو، باید نسخهٔ دقیق مدل، حافظهٔ در دسترس، طول متن ورودی و شیوهٔ عرضهٔ محصول را کنار کیفیت گذاشت. تیمی که پاسخ به پرسش‌های دانشی می‌خواهد ممکن است از نتیجهٔ جدول بهرهٔ بیشتری ببرد؛ تیمی که متن بلند را پردازش می‌کند یا خدمت عمومی می‌سازد، با محدودیت‌های دیگری روبه‌رو است. نتیجهٔ آزمون راهنمای انتخاب نامزد است و تصمیم استقرار به ویژگی‌های همان نسخه وابسته می‌شود.

امتیاز فارسی چه چیزی را اندازه می‌گیرد؟

معیار این رتبه‌بندی میانگین عملکرد در چند آزمون فارسی، از جمله پرسش‌های چندگزینه‌ای، دانش عمومی و استدلال است. در این آزمون‌ها پاسخ درست به پرسش سنجیده می‌شود؛ کیفیت نثر، حفظ لحن و وفاداری خلاصه به یک سند بلند معیار مستقیمی در آن‌ها نیست. بنابراین اگر کاربرد شما پاسخ‌گویی به پرسش‌های دانشی است، پیشتازی Gemma دلیل خوبی برای آغاز ارزیابی با آن است؛ برای بازنویسی نامه یا خلاصه‌سازی پرونده، همین امتیاز جانشین بررسی خروجی واقعی نمی‌شود.

مقایسه به نسخه‌های مشخص تعلق دارد، نه به همهٔ اعضای دو خانواده. مدل Gemma در این جدول با برچسب 27B و مدل Qwen با برچسب 32B آمده است؛ تفاوت اندازه، مقایسه را از یک رقابت هم‌هزینه دور می‌کند. نسخهٔ کوچک‌تر ممکن است روی دستگاهی جا بگیرد که نسخهٔ بزرگ‌تر در آن به حافظهٔ بیشتری نیاز دارد. از سوی دیگر، بزرگ‌تر بودن به‌تنهایی کیفیت فارسی بهتر را تضمین نمی‌کند.

دو نسخه در یک نگاه

برای تصمیم اولیه، این دو گزینه را می‌توان با عوامل مؤثر بر استقرار کنار هم گذاشت. برآورد حافظه در این فهرست فقط حجم خام وزن‌ها پس از کوانتیزه‌سازی فرضی است و ظرفیت لازم برای اجرای واقعی را نشان نمی‌دهد.

• Gemma 3 27B IT: کارت رسمی Gemma 3 برای نسخهٔ 27B وزن‌های باز، زمینهٔ ۱۲۸هزار توکنی و پشتیبانی از بیش از ۱۴۰ زبان را شرح می‌دهد. حجم خام وزن‌ها در فرض چهار بیت برای هر پارامتر، با تکیه بر اندازهٔ اسمی مدل، حدود ۱۳٫۵ گیگابایت می‌شود. امتیاز بالاتر در آزمون فارسی آن را برای شروع ارزیابی پاسخ‌های دانشی مناسب می‌کند؛ استفاده در محصول تابع شرایط اختصاصی Gemma است.
• Qwen2.5-32B-Instruct: مشخصات رسمی Qwen2.5 برای نسخهٔ 32B شمار ۳۲٫۵ میلیارد پارامتر، زمینهٔ اعلام‌شدهٔ ۱۲۸هزار توکنی، سقف تولید ۸هزار توکن و مجوز Apache 2.0 را ثبت می‌کند. حجم خام وزن‌ها با همان فرض حدود ۱۶٫۲۵ گیگابایت است. این نسخه برای تیمی جذاب است که چارچوب مجوز Apache را در محصول ترجیح می‌دهد و حافظهٔ بیشتری در اختیار دارد.

این برآوردها از ضرب تعداد پارامترها در نیم‌بایت به دست می‌آیند و واحدشان گیگابایت ده‌دهی است. فایل کوانتیزه‌شده معمولاً اطلاعات مقیاس و سربار قالب دارد؛ برنامهٔ اجرا، حافظهٔ موقت و کش توجه نیز فضا می‌گیرند. پس عدد کنار هر مدل کف نظری حجم وزن‌هاست، نه توصیه برای خرید حافظه یا تضمین اینکه مدل روی همان مقدار VRAM بار می‌شود. قالب کوانتیزه‌سازی و موتور اجرا می‌توانند نتیجهٔ عملی را تغییر دهند.

طول زمینه روی کاغذ و در اجرا

ظرفیت زمینه برای کار با متن فارسی بلند مهم است، اما باید از تنظیم پیش‌فرض اجرا جدا شود. در کارت مدل Qwen2.5-32B-Instruct، پیکربندی فعلی برای حداکثر ۳۲٬۷۶۸ توکن تنظیم شده و برای ورودی بلندتر، فعال‌کردن YaRN در چارچوب پشتیبانی‌شده توضیح داده شده است. در همان کارت آمده است که تنظیم ثابت YaRN در برخی پیاده‌سازی‌ها می‌تواند بر عملکرد متن کوتاه اثر بگذارد. بنابراین ظرفیت اعلام‌شدهٔ Qwen بدون توجه به پیکربندی اجرا، ظرفیت آمادهٔ هر نصب محلی نیست.

در هر دو مدل، متن بلند مصرف حافظه و زمان پاسخ را بالا می‌برد، به‌ویژه وقتی چند درخواست هم‌زمان در جریان باشد. سقف زمینه تعداد توکن است، نه تعداد واژه یا صفحه؛ سند فارسیِ استخراج‌شده از PDF، نشانه‌گذاری و جدول‌ها می‌توانند تعداد توکن و کیفیت ورودی را تغییر دهند. برای خلاصه‌سازی سند، مهم است که متن در محدودهٔ واقعی اجرا جا شود و پاسخ به بخش‌های دورتر سند وفادار بماند. برای تولید متن طولانی نیز سقف خروجی را باید جدا از اندازهٔ ورودی دید.

مجوز چه اثری بر محصول دارد؟

مجوز Apache 2.0 برای نسخهٔ مورد بحث Qwen چارچوبی شناخته‌شده برای استفاده و توزیع فراهم می‌کند. وزن‌های باز Gemma هم قابل دریافت و اجرا هستند، اما نام «وزن باز» جای متن مجوز را نمی‌گیرد. شرایط استفادهٔ Gemma دسترسی از راه API یا وب را در تعریف توزیع می‌گنجاند و برای توزیع مدل و مشتقات آن تعهداتی دربارهٔ محدودیت‌های استفاده و رساندن شرایط به دریافت‌کنندگان تعیین می‌کند. این شرایط استفادهٔ تجاری را به‌خودی‌خود حذف نمی‌کنند؛ شکل عرضهٔ خدمت است که بررسی دقیق متن توافق را لازم می‌کند.

برای پژوهش داخلی، دریافت وزن‌ها و امکان اجرای آن‌ها شاید مسئلهٔ اصلی باشد. وقتی همان مدل به خدمتی برای کاربران دیگر تبدیل می‌شود، دریافت‌کنندگان خدمت، مشتقات مدل و محدودیت‌های استفاده وارد تصمیم می‌شوند. در این نقطه تفاوت مجوز بخشی از طراحی محصول است: تیم باید بداند دقیقاً کدام وزن را عرضه می‌کند و چه تعهداتی همراه همان وزن منتقل می‌شود. اطلاق یک مجوز خانوادگی به همهٔ نسخه‌ها می‌تواند این تفاوت را پنهان کند.

انتخاب برای کار فارسی چگونه عوض می‌شود؟

اگر محصول قرار است به پرسش‌های کوتاه فارسی پاسخ دهد، اولویت‌دادن به Gemma در آزمون اولیه با نتیجهٔ منتشرشده سازگار است. اگر محصول بر بازنویسی نامه، خلاصه‌سازی متن حقوقی یا پاسخ‌گویی بر اساس پرونده تکیه دارد، معیارهای محتوایی دقیق‌تر لازم می‌شود: حفظ معنی، درست‌نویسی نام‌ها، لحن مناسب و خودداری از افزودن جزئیات بی‌پشتوانه. برای هر دو مدل باید همان نمونه‌ها و همان دستورها استفاده شود تا تفاوت خروجی به مدل مربوط باشد، نه به تغییر صورت مسئله.

در اجرای محلی برای تیم‌های ایران و دیگر فارسی‌زبانان، دسترسی به وزن‌ها تنها یکی از پیش‌شرط‌هاست. محدودیت حافظه می‌تواند انتخاب نسخهٔ بزرگ را عوض کند؛ متن بلند ممکن است تنظیمات متفاوتی بخواهد؛ و خدمت تجاری به مجوز مناسب نیاز دارد. اگر سخت‌افزار در مرز ظرفیت است، اندازهٔ فایل کوانتیزه‌شده و حافظهٔ مصرفی در طول ورودی واقعی تعیین‌کننده‌اند. اگر هر دو مدل روی زیرساخت موجود اجرا می‌شوند، کیفیت خروجی روی نمونه‌های فارسی خود محصول می‌تواند وزن بیشتری از برآورد نظری حافظه بگیرد.

بیشتر بخوانید:

• multilingual-e5 یا BGE-M3 برای فارسی؛ ۱٫۰۶ امتیاز همهٔ انتخاب نیست
• ChatGPT یا Gemini برای فارسی؛ برنده با نوع آزمون عوض می‌شود
• PaddleOCR یا Tesseract برای فارسی؛ خطای نویسه ۹٫۶٪ در برابر ۱۷٫۹٪