بازده AI را بسنجید؛ زمان ذخیره‌شده هنوز ROI نیست

برای سنجش بازده سرمایه‌گذاری AI در یک تیم، از یک گردش‌کار مشخص آغاز کنید: خروجی‌های تکمیل‌شده را پیش و پس از استفاده از ابزار، برای حجم و نوع کار مشابه، مقایسه کنید. زمان بازبینی و بازکاری را هم بشمارید و منفعت مالی قابل‌انتساب را در برابر هزینهٔ کامل بگذارید. زمان آزادشده تا وقتی به کاهش هزینه یا خروجیِ ارزشمندِ قابل‌اندازه‌گیری تبدیل نشده، به‌تنهایی ROI مالی نیست.

برگهٔ محاسبه باید عملکرد عملیاتی و بازده مالی را جدا نشان دهد. زمان چرخه، کیفیت و تعداد خروجی‌های پذیرفته‌شده می‌گویند کار بهتر پیش می‌رود یا نه؛ هزینه و منفعتِ تحقق‌یافته نشان می‌دهند سرمایه‌گذاری چه بازدهی داشته است. تعداد کاربران فعال یا توکن‌های مصرف‌شده میزان استفاده را نشان می‌دهند، اما جای این دو دسته نتیجه را نمی‌گیرند.

واحد سنجش و خط مبنا را مشخص کنید

یک کار تکرارشونده با آغاز و پایان روشن انتخاب کنید؛ برای مثال، رسیدگی به درخواست پشتیبانی از زمان ورود تا پاسخ پذیرفته‌شده. اگر پیش‌نویسِ سریع‌تر بعداً به اصلاح یا پاسخ‌گویی دوباره نیاز دارد، «زمان نوشتن پیش‌نویس» واحد کاملی نیست. واحد را خروجیِ تکمیل‌شده تعریف کنید تا انتقال کار از تهیه‌کننده به بازبین، صرفه‌جویی ظاهری نسازد.

برای دورهٔ مبنا، تعداد درخواست‌ها، سهم کارهای ساده و دشوار، زمان کار انسانی، زمان انتظار تا تکمیل، نرخ بازگشت برای اصلاح و مدت بازکاری را ثبت کنید. در دورهٔ استفاده از AI همان تعریف‌ها و شیوهٔ نمونه‌گیری را نگه دارید. اگر تقاضا، ترکیب پرونده‌ها، شیفت یا تجربهٔ کارکنان تغییر کند، مقایسهٔ خام پیش و پس می‌تواند اثر آن تغییرها را به ابزار نسبت دهد؛ یک گروه مشابهِ هم‌زمان، در صورت امکان، برآورد را قابل‌دفاع‌تر می‌کند.

نسخهٔ بازبینی‌شدهٔ پژوهش «Generative AI at Work» با داده‌های ۵۱۷۲ کارشناس پشتیبانی، میانگین افزایش ۱۵ درصدیِ مسائل حل‌شده در هر ساعت را پس از دسترسی به دستیار AI گزارش می‌کند. اثر میان کارکنان یکسان نبود و پژوهش بهره‌وری را با مسئلهٔ حل‌شده، نه سرعت تهیهٔ پاسخ اولیه، سنجید. بنابراین این درصد جای خط مبنای همان تیم و همان گردش‌کار را نمی‌گیرد.

سرعت، کیفیت و ظرفیت را جدا ثبت کنید

برای هر واحد کار، زمان تهیه، بازبینی انسانی و بازکاری را جدا ثبت کنید و مجموع آن‌ها را با خط مبنا بسنجید. زمان چرخه را نیز از ورود درخواست تا پذیرش نهایی نگه دارید: کوتاه‌شدن زمان تهیه ممکن است با طولانی‌شدن صف تأیید همراه شود. تعداد خروجی‌های پذیرفته‌شده در یک دوره نشان می‌دهد آیا ظرفیت آزادشده به توان عملیاتی بیشتر رسیده است.

معیار کیفیت باید به نتیجهٔ همان کار مربوط باشد؛ در پشتیبانی، نرخ حل مسئله، بازگشایی درخواست یا اصلاح پاسخ می‌تواند از سرعت مهم‌تر باشد. چارچوب چهارمرحله‌ای Atlassian معیارها را با مرحلهٔ استقرار هماهنگ می‌کند: میزان استفاده در مرحلهٔ آزمایش، کارایی در گردش‌کار جاافتاده، سپس کیفیت و در نهایت نوآوری. رضایت کارکنان و استقبال از ابزار را می‌توان کنار این نتایج ثبت کرد، اما برای آن‌ها بدون پیامد مالیِ قابل‌ردیابی مبلغ نسازید.

ظرفیت آزادشده نیز با صرفه‌جویی نقدی برابر نیست. اگر همان کارکنان با همان حقوق، همان تعداد درخواست را رسیدگی کنند، شاید فرصت بیشتری برای کارهای عقب‌افتاده یا رسیدگی دقیق‌تر پیدا کرده باشند؛ این یک نتیجهٔ عملیاتی است. کاهش خرید خدمت بیرونی، حذف اضافه‌کاریِ پرداختی یا تحویل کار اضافی با حاشیهٔ سود معلوم می‌تواند آن ظرفیت را به منفعت مالی تبدیل کند.

هزینهٔ کامل را برای همان دوره وارد کنید

هزینهٔ ابزار فقط مبلغ اشتراک یا مصرف مدل نیست. راهنمای Google Cloud هزینهٔ کل مالکیت را فراتر از حق سرویس می‌داند و آموزش مدل، زیرساخت و پشتیبانی عملیاتی را نیز در آن می‌گنجاند. در برگهٔ همان گردش‌کار، هزینهٔ اتصال به سامانه‌های موجود، آماده‌سازی داده، آموزش کارکنان، پایش و بازبینی انسانی را نیز متناسب با اجرای واقعی ثبت کنید.

هزینهٔ راه‌اندازی را از هزینهٔ تکرارشونده جدا کنید. اگر دورهٔ ارزیابی ماهانه است، سهم ماهانهٔ هزینهٔ اولیه را بر پایهٔ دورهٔ استفادهٔ فرض‌شده وارد کنید و آن فرض را کنار رقم بنویسید. هزینه و منفعت باید به یک دوره و یک محدودهٔ کاری تعلق داشته باشند؛ مقایسهٔ منفعت ماهانه با هزینهٔ یک‌ساله نتیجه را بی‌معنا می‌کند.

برای زمان بازبینی یک روش حسابداری ثابت برگزینید. اگر زمان بازبینی و اصلاح را در محاسبهٔ ساعت‌های خالصِ آزادشده کم کرده‌اید، ارزش همان ساعت‌ها را دوباره به‌عنوان هزینه از منفعت کسر نکنید. هزینهٔ نظارت یا پشتیبانیِ جدا از رسیدگی به هر درخواست، در صورت وقوع، همچنان جزو هزینهٔ کامل است.

منفعت را فقط یک‌بار پولی کنید

ROI مالی = (منفعت مالی قابل‌انتساب − هزینهٔ کامل) ÷ هزینهٔ کامل × ۱۰۰. برای هر قلم منفعت، رویدادی را مشخص کنید که آن را به پول تبدیل می‌کند: صورت‌حساب پیمانکارِ کاهش‌یافته، اضافه‌کاریِ حذف‌شده یا حاشیهٔ سود کار اضافیِ تحویل‌شده. اگر رویداد هنوز رخ نداده است، رقم را در ستون ظرفیت بالقوه نگه دارید و وارد صورت کسر ROI نکنید.

یک ساعت آزادشده را هم‌زمان کاهش هزینهٔ نیروی کار و درآمد ناشی از کار بیشتر حساب نکنید. کاهش بازکاری نیز اگر در ساعت‌های خالصِ آزادشده منظور شده، بار دیگر منفعتِ همان ساعت‌ها نیست. زیان مستقلِ کاهش‌یافته، مانند بازپرداخت به مشتری، فقط با دادهٔ جداگانه و بدون هم‌پوشانی با سایر اقلام به محاسبه اضافه می‌شود.

برای انتساب نتیجه، تغییر همان گردش‌کار را دنبال کنید. رشد کلی فروش، کاهش شکایت در کل سازمان یا افزایش استفاده از ابزار ممکن است علت‌های دیگری داشته باشد. اگر گروه مقایسه ندارید، تفاوت مشاهده‌شده را همراه با تغییرهای تقاضا و ترکیب کار گزارش کنید؛ دقتِ ظاهری یک عدد ROI جای شواهد انتساب را نمی‌گیرد.

یک برگهٔ محاسبهٔ فرضی

فرض کنید تیمی ماهانه ۱۰۰۰ درخواست مشابه را رسیدگی می‌کند. پیش از AI، کار اصلی برای هر درخواست به‌طور متوسط ۲۰ دقیقه طول می‌کشد و ۴ درصد درخواست‌ها هرکدام ۳۰ دقیقه بازکاری دارند. پس از استفاده، کار اصلی به ۱۵ دقیقه می‌رسد، اما سهم درخواست‌های نیازمند بازکاری به ۶ درصد افزایش می‌یابد. همهٔ این اعداد فرضی‌اند و فقط روش محاسبه را نشان می‌دهند.

در خط مبنا، کار اصلی حدود ۳۳۳ ساعت و بازکاری ۲۰ ساعت است؛ جمع آن حدود ۳۵۳ ساعت می‌شود. در حالت جدید، کار اصلی ۲۵۰ ساعت و بازکاری ۳۰ ساعت است؛ جمع آن ۲۸۰ ساعت می‌شود. ظرفیت خالص آزادشده حدود ۷۳ ساعت در ماه است، نه حدود ۸۳ ساعتِ حاصل از سنجش کار اصلی به‌تنهایی. افزایش بازکاری را نیز کنار این رقم نگه دارید تا بهبود زمان، افت احتمالی کیفیت را پنهان نکند.

حالا فرض کنید پیمانکارِ ساعتی بخشی از همین کار را انجام می‌داد، قراردادش واقعاً به‌اندازهٔ ساعت‌های آزادشده کاهش می‌یابد و هزینهٔ قابل‌اجتناب هر ساعت ۴۰۰ هزار تومان است. منفعت ماهانه حدود ۲۹٫۳ میلیون تومان می‌شود. اگر مجموع هزینهٔ ماهانهٔ ابزار، سهم راه‌اندازی، آموزش و پشتیبانی ۲۳ میلیون تومان باشد، منفعت خالص حدود ۶٫۳ میلیون تومان و ROI حدود ۲۸ درصد است؛ زمان رسیدگی و بازکاری در محاسبهٔ ظرفیت خالص منظور شده و دوباره در هزینه‌ها نیامده است.

اگر قرارداد پیمانکار کاهش نیابد، همان حدود ۷۳ ساعت ظرفیت آزادشده یک نتیجهٔ عملیاتی است، اما صرفه‌جویی ۲۹٫۳ میلیون تومانی تحقق نیافته است. تصمیم دربارهٔ ادامه یا گسترش ابزار به این بستگی دارد که خروجی پذیرفته‌شده و کیفیت آن چگونه تغییر کرده، ظرفیت کجا به کار رفته و کدام منفعت پس از کسر هزینه‌ها واقعاً قابل‌ردیابی است.

بیشتر بخوانید:

• گفتار فارسی را دقیق‌تر متن کنید؛ WER به‌تنهایی کافی نیست
• ChatGPT یا Perplexity برای تحقیق؛ تعداد منبع بیشتر مساوی دقت بیشتر نیست
• سرور MCP را امن کنید؛ stdio به‌تنهایی sandbox نیست