ChatGPT یا Gemini برای فارسی؛ برنده با نوع آزمون عوض می‌شود

برای تشخیص رابطهٔ منطقی میان دو جملهٔ فارسی، GPT-4o در آزمون جلوتر بود؛ برای پرسش دانشیِ چندگزینه‌ای به فارسی، Gemini 2.0 Flash امتیاز بالاتری گرفت. در ارزیابی فارسیِ این دو مدل، هر وظیفه با ۳۵۰ نمونه سنجیده شد: دقت استنتاج با دستور فارسی به‌ترتیب ۸۰ و ۷۴ درصد و دقت پرسش دانشی به‌ترتیب ۲۷ و ۳۲ درصد بود. این جابه‌جایی، نتیجهٔ مشاهده‌شده در دو نوع آزمون است، نه اثبات برتری کلی یکی از دو دستیار.

برای ترجمهٔ انگلیسی به فارسی، امتیاز BLEU با دستور فارسی برای GPT-4o برابر ۵٫۷۹ و برای Gemini برابر ۵٫۸۵ بود؛ این فاصله انتخاب قطعی را توجیه نمی‌کند. در اصلاح املای تک‌واژه‌ای نیز دقت آن‌ها ۳۴ و ۳۳ درصد ثبت شد. بنابراین اگر کار اصلی‌تان ترجمه، ویرایش یا نوشتن متن آزاد است، نتیجهٔ این آزمون‌ها به‌تنهایی تعیین نمی‌کند کدام سرویس متن بهتری برای شما می‌نویسد. اعداد به مدل‌های آزموده‌شده تعلق دارند و نباید بی‌بررسی به هر مدلی که اکنون در ChatGPT یا Gemini عرضه می‌شود تعمیم یابند.

انتخاب بر اساس نوع کار

چهار کار ظاهراً نزدیک به هم، در این ارزیابی با ورودی و معیارهای متفاوت سنجیده شده‌اند. برای انتخاب دستیار، ابتدا باید دید کار شما واقعاً به کدام‌یک شباهت دارد؛ یک سؤال دربارهٔ معنای دو جمله همان آزمون حل مسئلهٔ باز یا نوشتن یک گزارش نیست.

• استنتاج از متن: اگر باید تشخیص دهید گزاره‌ای از متن نتیجه می‌شود، با آن تناقض دارد یا رابطه نامعلوم است، نتیجهٔ مشاهده‌شده به سود GPT-4o است. در این وظیفه مدل میان برچسب‌های مشخص انتخاب می‌کرد؛ دقت آن را نباید به همهٔ شکل‌های استدلال فارسی نسبت داد.
• پرسش دانشی: Gemini 2.0 Flash در مجموعهٔ چندگزینه‌ای امتیاز بالاتری داشت، اما دقت هر دو مدل پایین بود. این نتیجه برای انتخاب اولیه در همان نوع سؤال مفیدتر از آن است که پاسخ آزاد به یک پرسش تخصصی را معتبر جلوه دهد.
• اصلاح متن: آنچه مقاله «اصلاح دستور زبان» می‌نامد، در روش آزمون درخواستِ شکل درست یک واژهٔ غلط بود. بازنویسی جمله، اصلاح نحو و حفظ لحن یک پاراگراف در آن سنجیده نشد؛ فاصلهٔ کوچک دو امتیاز املایی نیز دلیل انتخاب یکی از مدل‌ها نیست.
• ترجمه و نگارش: امتیاز خودکار ترجمه نزدیک بود و برای نامه، متن تبلیغاتی یا نوشتهٔ بلند آزمون مستقیمی میان این دو مدل انجام نشد. در این کاربردها، حفظ معنا، واژه‌گزینی و تناسب لحن با مخاطب از اختلاف کوچک امتیاز ترجمه مهم‌تر است.

این اختلاف‌ها چقدر قابل اتکاست؟

در استنتاج، اختلاف مشاهده‌شده از اختلاف املا و ترجمه بزرگ‌تر است، اما مقاله برای مقایسهٔ مدل‌ها فاصلهٔ اطمینان یا آزمون معناداری گزارش نکرده است. اگر فقط از درصدهای گرد‌شده و اندازهٔ نمونه، بازهٔ تقریبی ۹۵ درصدی ویلسون را حساب کنیم، بازهٔ دقت استنتاج GPT-4o حدود ۷۵٫۵ تا ۸۳٫۹ درصد و بازهٔ Gemini حدود ۶۹٫۲ تا ۷۸٫۳ درصد می‌شود. این بازه‌ها برآوردی از عدم‌قطعیت نمونه‌گیری‌اند؛ آزمون اختلاف دو مدل روی همان پرسش‌های مشترک نیستند.

برای پرسش دانشی، همین محاسبه بازه‌هایی حدود ۲۲٫۶ تا ۳۱٫۹ درصد برای GPT-4o و ۲۷٫۳ تا ۳۷٫۱ درصد برای Gemini می‌دهد. هم‌پوشانی آن‌ها نشان می‌دهد فاصلهٔ امتیاز مشاهده‌شده را نباید به برتری پایدار در پرسش‌های دانشی تعبیر کرد. هر پیکربندی فقط یک بار اجرا شده است؛ این بازه‌ها تغییر پاسخ میان اجراها، تفاوت نسخه‌های بعدی یا خطای ناشی از انتخاب مجموعه‌داده را اندازه نمی‌گیرند.

نمونه‌های آزمون نیز دامنهٔ مشخصی دارند. پرسش‌های دانشی عمدتاً از سؤال‌های آزمونی آمده‌اند، ترجمه با BLEU و اصلاح واژه با تطابق دقیقِ پاسخ ارزیابی شده است. BLEU شباهت خروجی به ترجمهٔ مرجع را می‌سنجد و به‌تنهایی دربارهٔ روانی نثر یا مناسب‌بودن واژگان برای مخاطب یک متن حکم نمی‌دهد. گونه‌های منطقه‌ای، از جمله دری، در این مقایسه ارزیابی جداگانه‌ای نداشتند.

زبان دستور چگونه ترتیب نتیجه را تغییر می‌دهد؟

در آزمون استنتاج، متن ورودی فارسی ماند اما دستور انگلیسی شد؛ دقت GPT-4o به ۸۲ درصد و دقت Gemini به ۸۰ درصد رسید. در پرسش دانشی، امتیاز GPT-4o با دستور انگلیسی ۳۳ درصد و امتیاز Gemini ۳۲ درصد بود؛ بنابراین حتی ترتیب مشاهده‌شدهٔ دو مدل در این وظیفه عوض شد. این تغییر به معنی آن نیست که دستور انگلیسی برای هر کار فارسی بهتر است: اندازهٔ اثر به مدل و وظیفه وابسته بود.

پژوهش پیشینِ بنچمارک فارسی در آزمون GPT-3.5-turbo و GPT-4 نیز اثر زبان دستور و ترجمهٔ نمونه‌ها به انگلیسی را بررسی کرد و در برخی وظایف بهبود یافت. آن پژوهش Gemini را آزمایش نکرد و مدل‌هایش با ارزیابی جدید یکسان نبودند. همچنین انگلیسی‌نوشتن دستور با ترجمه‌کردن خودِ پرسش فرق دارد: در حالت دوم ممکن است بخشی از معنای متن فارسی هنگام ترجمه تغییر کند.

شیوهٔ پاسخ‌خواستن هم بخشی از شرایط آزمون است. در تشخیص رابطهٔ جمله‌ها، پاسخ باید برچسبی مشخص می‌بود؛ توضیح اضافه یا قالب نادرست می‌توانست به‌عنوان شکست در پیروی از دستور ثبت شود. برای کاربری که توضیح مفصل می‌خواهد، چنین معیاری همهٔ کیفیت پاسخ را نشان نمی‌دهد، اما برای کاری که خروجیِ دقیق و قابل پردازش لازم دارد، رعایت قالب خودِ عملکرد است.

چند درخواست ثابت برای مقایسهٔ نسخه‌های در دسترس

اگر می‌خواهید میان نسخه‌هایی که واقعاً استفاده می‌کنید انتخاب کنید، درخواست‌های یکسان را با همان متن ورودی و همان معیار داوری اجرا کنید. نام مدل، زبان دستور و زمان اجرا را کنار پاسخ ثبت کنید؛ نسخه‌بندی متن پرامپت‌ها کمک می‌کند تغییر پاسخ با تغییر ناخواستهٔ درخواست اشتباه گرفته نشود. نمونه‌های زیر آزمون پژوهشی تازه یا نتیجهٔ اندازه‌گیری‌شده نیستند؛ قالب‌هایی ثابت برای مقایسهٔ شخصی‌اند.

• استنتاج: «متن: همهٔ نسخه‌های تأییدشده منتشر شده‌اند. گزاره: این نسخه منتشر شده است. رابطه را فقط با یکی از واژه‌های نتیجه، تناقض یا نامعلوم مشخص کن و دلیل کوتاه بده.» پاسخ مورد انتظار «نامعلوم» است، چون تأییدشدنِ «این نسخه» معلوم نیست.
• اصلاح املا: «فقط شکل درست این واژه را بنویس، بدون توضیح: دانشگا». پاسخ مورد انتظار «دانشگاه» است. برای سنجش ویرایش جمله باید درخواست دیگری با خطای نحوی و معیار جداگانه ساخت؛ این نمونه فقط املای یک واژه را می‌سنجد.
• ترجمه: «جملهٔ The meeting was postponed until Tuesday را به فارسی معیار ترجمه کن. زمان رویداد را حفظ کن و توضیحی اضافه نکن.» دو خروجی را از نظر حفظ معنای تعویق، روانی جمله و یکدستی واژگان بسنجید؛ وجود چند ترجمهٔ درست، داوری با تطابق دقیق را نامناسب می‌کند.
• دانش: «پایتخت تاجیکستان کدام شهر است؟ نام شهر را بنویس و اگر برای پاسخ از منبعی استفاده کردی، نشانی قابل پیگیری آن را بده.» درست‌بودن پاسخ و واقعی‌بودن نشانیِ ارائه‌شده دو بررسی جداگانه‌اند.

برای متن‌هایی که قرار است به فارسی‌زبانان افغانستان برسند، واژگان و گونهٔ زبانی موردنظر را در ورودی خود مشخص کنید و خروجی را با همان معیار بسنجید. یک پاسخ خوب به یک درخواست کوتاه، کیفیت ترجمهٔ متن تخصصی یا حفظ لحن در نوشته‌ای بلند را تضمین نمی‌کند. چند متن متفاوت از کار واقعی شما تصویر مفیدتری از هزینهٔ ویرایش هر خروجی می‌دهد.

پرسش دانشی به راستی‌آزمایی نیاز دارد

امتیاز بالاتر Gemini در مجموعهٔ چندگزینه‌ای مجوز اعتماد بی‌بررسی به پاسخ آزاد نیست. راهنمای رسمی Gemini هشدار می‌دهد که این سرویس ممکن است اطلاعات نادرست را واقعیت جلوه دهد و حتی سازوکار یا ارجاع‌های خودش را نادرست توضیح دهد. راهنمای رسمی OpenAI نیز دربارهٔ پاسخ‌های مطمئن‌نما، نقل‌قول‌های ساختگی و ارجاع به منابع ناموجود در ChatGPT هشدار می‌دهد.

اگر پاسخ قرار است در نوشته‌ای منتشرشده یا تصمیمی مهم به کار رود، ادعای مشخص را با مرجع اصلی آن تطبیق دهید. انتخاب دستیار در این کار به امتیاز آزمون محدود نمی‌شود: توانایی ارائهٔ مرجع قابل پیگیری و مقدار بررسی لازم برای رسیدن به پاسخ درست نیز بخشی از هزینهٔ واقعی استفاده است.

بیشتر بخوانید:

• پرامپت را مثل کد منتشر کنید؛ نسخهٔ بهتر بدون آزمون معلوم نمی‌شود
• Shopify یا WooCommerce؛ فروش بیشتر می‌تواند برندهٔ ارزان‌تر را عوض کند
• ChatGPT Deep Research یا Perplexity؛ سرعت منبع‌یابی با عمق گزارش یکی نیست