الگوی ارزیابی هوش مصنوعی با داشبورد Quality Insights

را الگوی ارزیابی هوش مصنوعی روشی ساختاریافته برای آزمایش سیستم‌ها معرفی می‌کند که در آن نتایج کاملاً قطعی نیستند.

این برای ارزیابی ویژگی‌های مبتنی بر هوش مصنوعی طراحی شده است، در حالی که از سناریوهای دیگری نیز پشتیبانی می‌کند که در آن‌ها کیفیت باید در ابعاد مختلف ارزیابی شود تا یک عبور یا شکست ساده.

این الگو با عملکرد TestRail موجود ادغام می شود. اجراهای آزمایشی، برنامه‌ها، نقاط عطف، گزارش‌ها، ادغام‌ها و API همگی مانند امروز رفتار می‌کنند.

زمان استفاده از این الگو #

در صورت نیاز از الگوی ارزیابی هوش مصنوعی استفاده کنید:

• ارزیابی خروجی های تولید شده توسط هوش مصنوعی (به عنوان مثال، پاسخ ها یا توصیه های ربات چت)

• ارزیابی رفتاری که بین اعدام ها متفاوت است

• اندازه گیری کیفیت در ابعاد مختلف (به عنوان مثال، دقت، ارتباط، یا ایمنی)

برای سناریوهای غیر هوش مصنوعی، می توانید دوباره از آن استفاده کنید فیلد نتیجه رتبه بندی کیفیت با سایر الگوها برای ارزیابی:

• عملکرد (به عنوان مثال، پاسخگویی یا تخریب درک شده تحت بار)

• امنیت و انطباق (به عنوان مثال، مقاومت در برابر تزریق سریع یا نشت داده ها)

• هر سیستمی که در آن کیفیت را نمی توان به یک نتیجه باینری کاهش داد

ایجاد تست‌کیس‌ها ارزیابی هوش مصنوعی #

هنگام ایجاد یک تست‌کیس، انتخاب کنید ارزیابی هوش مصنوعی از منوی کشویی الگو.

این الگو شامل تمام فیلدهای استاندارد سیستم TestRail است:

• عنوان (الزامی)

• بخش (الزامی)

• الگو (الزامی)

• نوع (الزامی)

• اولویت (الزامی)

• وضعیت (فقط سازمانی)

• اختصاص داده شده به (فقط سازمانی)

همچنین از مراحل ساخت یافته با نتایج مورد انتظار پشتیبانی می کند.

فیلدهای تست‌کیس اضافی #

این الگو فیلدهای اختیاری را برای توصیف سیستم تحت آزمایش معرفی می کند:

• نوع هوش مصنوعی (کشویی)
  برای دسته بندی سیستم استفاده می شود (به عنوان مثال، RAG، ML، LLM)

• مدل هوش مصنوعی (کشویی)
  برای شناسایی مدل یا نسخه سیستم (به عنوان مثال GPT، Gemini) استفاده می شود.

این فیلدها همچنین می توانند برای طبقه بندی گسترده تر در سناریوهای غیر AI استفاده شوند.

ثبت نتایج #

علاوه بر فیلدهای موجود (وضعیت، نظر، نقص و غیره)، فیلدهای زیر نیز موجود است:

• رتبه بندی کیفیت (الزامی)
  از این برای ارزیابی کیفیت کلی خروجی هوش مصنوعی در معیارهای تعریف شده (مانند دقت، ارتباط، کامل بودن) استفاده کنید. این یک ارزیابی منسجم و کیفی از نتیجه را فراهم می کند.

• ورودی (اختیاری)
  ورودی کاربر یا سیستم ارائه شده به هوش مصنوعی (به عنوان مثال، درخواست ها، پارامترها، تقویت ها) را ضبط کنید. این به تکرارپذیری و اشکال زدایی کمک می کند.

• خروجی (اختیاری)
  خروجی تولید شده توسط هوش مصنوعی (به عنوان مثال پاسخ ربات چت، محتوای تولید شده) را ضبط کنید. این امکان مقایسه مستقیم با رفتار مورد انتظار را فراهم می کند.

• ردیابی (اختیاری)
  یک URL برای ردیابی گزارش‌ها از ابزارهای مشاهده‌پذیر خارجی (مانند Langfuse) ارائه دهید. این برای تجزیه و تحلیل عمیق تر و عیب یابی مفید است.

• تأخیر (اختیاری)
  زمان پاسخگویی سیستم هوش مصنوعی را ثبت کنید. این به نظارت بر عملکرد و شناسایی تنگناهای بالقوه کمک می کند.

همه فیلدها با فیلدهای نتیجه TestRail موجود رفتار می کنند.

 

رتبه بندی کیفیت #

جدید ما رتبه بندی کیفیت فیلد نتایج ارزیابی ساختاری را با استفاده از یک سیستم مبتنی بر ستاره امکان پذیر می کند.

• هر دسته را می توان از ۰ تا ۵ ستاره رتبه بندی کرد

• دسته ها در قابل تنظیم هستند مدیریت → سفارشی سازی → فیلدهای نتیجه

• حداکثر ۱۵ دسته پشتیبانی می شود

• حداقل یک دسته باید قبل از ذخیره یک نتیجه (≥۱ ستاره) رتبه بندی شود

دسته بندی های معمولی عبارتند از:

• دقت واقعی

• ارتباط با هدف کاربر

• انسجام استدلال

• امنیت و انطباق

• سازگاری پاسخ

دسته ها کاملاً قابل تنظیم هستند و می توانند با نیازهای آزمایشی مختلف سازگار شوند.

استفاده مجدد از رتبه بندی کیفیت در قالب ها #

رتبه بندی کیفیت به الگوی ارزیابی هوش مصنوعی محدود نمی شود.

مدیران می توانند این فیلد نتیجه را به سایر الگوها اضافه کنند تا از ارزیابی منسجم در سراسر موارد زیر پشتیبانی کنند:

• تست هوش مصنوعی

• تست عملکرد

• تست امنیتی

• و هر چیز دیگری که نیاز به بینش کیفی بیشتری دارد

هنگامی که در قالب های دیگر استفاده می شود، رفتار رتبه بندی و داشبورد یکسان اعمال می شود.

داشبورد Quality Insights #

زمانی که یک اجرای تست شامل تست هایی با رتبه بندی کیفیت میدان، الف بینش کیفیت بخش در دسترس می شود

داشبورد شامل:

• میانگین امتیاز کیفیت
  میانگین امتیاز کلی در همه نتایج (از ۵)

• آزمایشات با نتایج
  درصد آزمون های با وضعیت نهایی

• کیفیت بر اساس دسته
  میانگین امتیاز در هر دسته، بر اساس ترتیب پیکربندی شده

رفتار اضافی:

• تنها زمانی قابل مشاهده است که فیلد رتبه بندی کیفیت در اجرا وجود داشته باشد

• اگر چنین آزمایشی وجود نداشته باشد، به طور خودکار پنهان می شود

• داده‌ها هر ساعت به‌روز می‌شوند، با بازخوانی دستی در دسترس است

• داشبورد فقط خواندنی است

• صادرات به صورت PDF در دسترس است

فیلتر کردن و مرتب سازی #

هنگامی که فیلد رتبه بندی کیفیت در یک اجرای تست وجود دارد:

• الف فیلتر دسته در تست ها موجود است & نتایج

• الف رتبه بندی کیفیت گزینه مرتب سازی در دسترس است (پیش فرض: زیاد به کم)

• الف ستون رتبه بندی کیفیت نمایش داده می شود

رفتار:

• فیلتر کردن بر اساس دسته، لیست آزمایشی و رتبه بندی های نمایش داده شده را به روز می کند

• ستون میانگین امتیاز در هر آزمون را نشان می دهد

• شناور کردن، رتبه‌بندی‌ها را برای همه دسته‌ها نشان می‌دهد

• اگر هیچ فیلدی از نوع رتبه‌بندی در اجرا وجود نداشته باشد، کنترل‌ها پنهان می‌شوند

 

پیکربندی قالب #

الگوی ارزیابی هوش مصنوعی در زیر موجود است:

مدیریت → سفارشی سازی → الگوها

به طور پیش فرض:

• در دسترس همه پروژه ها

• به عنوان الگوی پیش فرض تنظیم نشده است

• کاملا قابل ویرایش

مدیران می توانند:

• نام قالب را تغییر دهید

• آن را به پروژه های انتخابی محدود کنید

• فیلدهای تست‌کیس پشتیبانی شده را اضافه یا حذف کنید

• مرتب سازی مجدد فیلدها

محدودیت ها:

• را رتبه بندی کیفیت فیلد نتیجه قابل حذف نیست

• نام فیلدهای سیستم رزرو شده است

• فیلدهای علامت گذاری شده به عنوان “برای همه الگوها اعمال می شود” به طور خودکار گنجانده می شوند

سازگاری #

الگوی ارزیابی هوش مصنوعی کاملاً افزودنی است.

تغییر نمی کند و تأثیر نمی گذارد:

• قالب های موجود

• فیلدهای تست‌کیس و نتیجه

• گردش کار اجرای آزمایش

• اجرای تست و برنامه ریزی

• ادغام و ردیابی نقص

• رفتار API

• CLI – به زودی!