لا تقس نجاح AI بالساعات الموفرة وحدها: اختبر السرعة والجودة والجهد

لقياس أثر أداة الذكاء الاصطناعي قبل شراء تراخيص واسعة، اختر مهمة متكررة يمكن الحكم على ناتجها، وسجّل أداء الفريق قبل إدخال الأداة. قارن بعد ذلك مجموعة تستخدمها بأخرى تنجز المهمة بالطريقة المعتادة، مع تطبيق معيار الجودة نفسه على المجموعتين. احسب الزمن حتى يصبح الناتج صالحًا للاستخدام، بما فيه التصحيح والمراجعة، ثم ضع التحسن في مقابل كلفة الترخيص والتدريب.

افصل بين السرعة والجودة والجهد؛ فقد تظهر المسودة أسرع بينما ينتقل العمل إلى المراجع. يعرّف تقرير Microsoft Research الإنتاجية بهذه الأبعاد الثلاثة، ويذكر أن المشاركين في تجربة للمهام الشائعة قدّروا الوقت الموفر بمتوسط 36 دقيقة، بينما بلغ الوفر المقاس 12 دقيقة. سجّل انطباع المستخدمين لفهم تجربتهم، لكن اعتمد الوقت المرصود عند حساب أثر الأداة.

حدّد المهمة وشرط شراء التراخيص

اختر ناتجًا واحدًا له نقطة بداية ونقطة قبول واضحتان. يمكن، مثلًا، اختبار إعداد ملخص لاجتماع مسجّل: يبدأ التوقيت عند إتاحة التسجيل وينتهي عندما يعتمد المراجع ملخصًا دقيقًا يتضمن القرارات والإجراءات المطلوبة. ثبّت نوع الاجتماعات وطولها التقريبي وما يُسمح للأداة بالوصول إليه، حتى لا تختلط فروق الأداة بفروق صعوبة الاجتماعات.

اكتب مسبقًا ما الذي سيبرر شراء تراخيص إضافية: تحسنًا في زمن إنتاج الملخص المقبول، مع بلوغ حد الدقة المطلوب ودون زيادة غير مقبولة في عبء المراجعة. وتدعو إرشادات الحكومة البريطانية إلى تحديد خط الأساس ومجموعة المقارنة مبكرًا، وإدخال التقييم في تصميم التدخل، والاستفادة من اختبارات داخلية صغيرة مضبوطة قبل قرار التوسع. اختر للمحاولة المهمة التي تتوقع شراء التراخيص من أجلها، وحدد مدة التجربة وقاعدة القرار قبل الاطلاع على النتائج.

ابنِ خط أساس ومجموعة مقارنة عادلة

في مرحلة خط الأساس، أنجز مجموعة من المهام بالطريقة المعتادة. سجّل لكل مهمة زمن إعداد المسودة، وزمن مراجعتها وتصحيحها، وحالة الناتج عند الاعتماد. احتفظ بنوع المهمة وصعوبتها ودور الموظف؛ فمتوسط واحد يجمع ملخصات قصيرة ومعقدة قد يخفي المكان الذي أفادت فيه الأداة أو زادت فيه العمل.

إذا كان الفريق يضم 20 موظفًا، يمكن في تجربة محلية توزيعهم إلى مجموعتين متقاربتين من 10، مع مراعاة الدور والخبرة وحجم العمل؛ والتوزيع العشوائي داخل هذه الفئات أفضل إن أمكن. تحصل مجموعة على الأداة وتواصل الأخرى العمل بالطريقة المعتادة خلال الفترة نفسها. وزّع مهام متشابهة بين المجموعتين، وثبّت تعليماتها وموعد تسليمها، ثم اجعل مراجعًا يقيّم المخرجات من دون معرفة طريقة إعدادها حيثما أمكن. هذا تصميم لقرار داخل الفريق، ولا يجعل العينة الصغيرة ممثلة تلقائيًا لكل أقسام المؤسسة.

سجّل وقت التدريب وإعداد الأداة منفصلًا عن زمن إنجاز المهمة، ثم أدخل كلفته في الحساب. وميّز بين من مُنح ترخيصًا ومن استخدمه فعلًا، مع الاحتفاظ بنتائج جميع من شملهم قرار التخصيص عند تقدير جدوى الشراء. فإذا حُسب أثر المستخدمين النشطين وحدهم ثم نُسب إلى كل التراخيص، ستبدو قيمة التوسع أعلى مما تسمح به البيانات.

استخدم بطاقة واحدة للوقت والجودة والجهد

املأ بطاقة القياس التالية لكل مهمة في المجموعتين. عرّف خانة الجودة قبل بدء التجربة، واترك للمراجع مساحة لتسجيل سبب رفض الناتج أو طلب إعادة العمل:

• المهمة: نوع المدخل، وما يجب أن يحتويه الناتج، ومن يعتمد النسخة النهائية.
• الزمن: دقائق إعداد المسودة، ودقائق المراجعة والتصحيح، والمجموع حتى الاعتماد.
• الجودة: وجود القرارات والإجراءات المطلوبة، وصحة نسبتها إلى الاجتماع، والأخطاء التي تستلزم إعادة العمل.
• الجهد: عدد جولات التصحيح، وتقدير ثابت للعبء يقدمه المنفذ والمراجع بعد المهمة.
• الكلفة: التراخيص والتدريب والإعداد وأي مراجعة إضافية تتطلبها الأداة.
• قرار التوسع: حد الجودة والتحسن الأدنى المطلوب في الزمن والتكلفة، كما حُددا قبل ظهور النتائج.

قارن زمن المخرج المقبول في المجموعتين، لا زمن المسودة الأولى. إذا احتاج الملخص إلى تصحيح، تبقى دقائق التصحيح جزءًا من إنتاجه؛ وإذا رُفض، سجّل زمن إعادة العمل والنتيجة النهائية. اعرض نسبة المخرجات المقبولة والأخطاء المهمة إلى جانب متوسط الزمن، حتى لا تخفي سرعة بعض الملخصات زيادة الأخطاء المتعلقة بقرارات الاجتماع أو المسؤول عن تنفيذها.

يعطي مجموع دقائق الكاتب والمراجع صورة عن انتقال العمل بينهما، بينما يكشف تقدير العبء عما لا تصفه الساعة وحدها، مثل الجهد الذهني المطلوب للتحقق من التفاصيل. استخدم السؤال نفسه ومقياس الإجابة نفسه بعد كل مهمة. تعامل مع هذا التقدير بوصفه مقياسًا للجهد المُدرَك، لا بديلًا عن الزمن المرصود أو دليلًا مباشرًا على وفر مالي.

مثال حسابي لفريق من 20 موظفًا

الأرقام التالية افتراضية لتوضيح الحساب بعد تجربة تعطي نتائج مماثلة عند تعميم الأداة. لنفترض أن كل موظف ينتج ثمانية ملخصات مقبولة شهريًا، أي 160 ملخصًا للفريق. يستغرق الملخص بالطريقة المعتادة 50 دقيقة، منها 10 دقائق للمراجعة، ويستغرق بمساعدة الأداة 40 دقيقة، منها 16 دقيقة للمراجعة، مع بلوغ معيار الجودة نفسه. انخفض زمن الإعداد من 40 إلى 24 دقيقة، أي بمقدار 16 دقيقة، لكن المراجعة زادت ست دقائق؛ الوفر الصافي عشر دقائق للملخص، أو 1600 دقيقة شهريًا، تساوي 26 ساعة و40 دقيقة على حجم العمل المفترض.

لنفترض أن الترخيص يكلف 20 وحدة نقدية للموظف شهريًا، فتبلغ فاتورة 20 ترخيصًا 400 وحدة. وإذا قُدّرت ساعة العمل بعشرين وحدة، فإن قيمة السعة المتاحة نظريًا تقارب 533 وحدة شهريًا. لكن تدريب كل موظف ساعة واحدة يضيف 400 وحدة إلى كلفة الشهر الأول في هذا المثال؛ عندئذ تبلغ كلفة الترخيص والتدريب 800 وحدة، متجاوزة قيمة السعة المحسوبة. وحتى في الأشهر اللاحقة، لا تتحول الدقائق الموفرة تلقائيًا إلى نقد: تتوقف المنفعة على إمكان توجيه الوقت إلى عمل ذي قيمة أو خفض تكلفة فعلية، وعلى استمرار الجودة ومعدل استخدام التراخيص.

اربط قرار التوسع بما قِيس فعلًا

انظر إلى النتائج بحسب المهمة والدور، لا إلى متوسط الفريق وحده. إذا استفاد من الأداة معدّو الملخصات القصيرة بينما طالت مراجعة الملخصات المعقدة، فقد يكون الترخيص الانتقائي أجدى من الشراء للجميع. وفي تقييم HMRC لتجربة Microsoft Copilot، جاء تقدير الوقت الموفر أكثر تحفظًا من تجربة حكومية أوسع؛ فقد شمل الاختبار توزيع التراخيص عشوائيًا على موظفين في أدوار أكثر تنوعًا، بينما ظل تقدير الوفر قائمًا أساسًا على إفادات المشاركين بعد تعديلها بحذر. تختلف الدراستان في المشاركين وطريقة التقدير، لذا لا يصلح نقل متوسط إحداهما إلى فريق آخر بوصفه عائدًا مضمونًا.

وسّع الشراء إلى الأدوار والمهام التي بلغت حد الجودة والتحسن المحددين مسبقًا بعد احتساب وقت المراجعة والتكاليف. وإذا ظهرت فائدة في نوع واحد من المهام، فليقتصر القرار عليه إلى أن تُختبر المهام الأخرى. بذلك يستند عدد التراخيص إلى مخرجات مقبولة وسعة يمكن الاستفادة منها، لا إلى الساعات التي يتذكر المشاركون أنهم وفّروها.

اقرأ أيضًا:

• هل تنقل عملك إلى AWS السعودية؟ اختبر أربعة عوامل قبل ديسمبر
• الإصلاح التلقائي في AWS قد يضاعف الخطأ: اختبر ASR قبل التوسّع
• لديك 972 تصحيحًا: ابدأ بالاستغلال الفعلي لا بدرجة CVSS وحدها