ادغام ابزارهای ارزیابی هوش مصنوعی با TestRail

تیم‌های هوش مصنوعی امروزه از اکوسیستم رو به رشدی از ابزارها برای ارزیابی کیفیت برنامه‌های خود استفاده می‌کنند.

خواه از Langfuse، LangSmith، DeepEval، OpenAI Evals، Arize Phoenix یا خط لوله ارزیابی سفارشی استفاده می‌کنید، این ابزارها به تولید سیگنال‌های با کیفیت با ارزش در مورد عملکرد سیستم هوش مصنوعی شما کمک می‌کنند.

چالش این است که نتایج ارزیابی اغلب در آن پلتفرم‌ها مجزا باقی می‌مانند.

با TestRail الگوی ارزیابی هوش مصنوعی و API ها، تیم ها می توانند به طور خودکار نتایج ارزیابی را به TestRail منتقل کنند و یک مکان متمرکز برای ردیابی کیفیت هوش مصنوعی در کنار بقیه فرآیندهای آزمایش و انتشار خود ایجاد کنند.

پشته کیفیت هوش مصنوعی #

اکثر سازمان‌ها در حال حاضر ابزارهایی را در چندین لایه پشته هوش مصنوعی خود دارند.

بیشتر پلتفرم‌های ارزیابی هوش مصنوعی بر ارزیابی خروجی‌ها تمرکز می‌کنند، نه مدیریت موارد آزمایش. در حالی که آنها می‌توانند پاسخ‌ها، درخواست‌های محک و مقایسه مدل‌ها را امتیاز دهند، معمولاً روشی ساختاریافته برای سازمان‌دهی ارزیابی‌ها در مجموعه‌های آزمایشی، پیگیری پوشش، یا اتصال نتایج به کیفیت و فرآیندهای انتشار گسترده‌تر ارائه نمی‌دهند.

با فشار دادن نتایج ارزیابی به TestRail، تیم‌ها می‌توانند نتایج ارزیابی هوش مصنوعی را با موارد آزمایش ساختاریافته مرتبط کنند و ردیابی پوشش، مقایسه نتایج در طول زمان و مدیریت کیفیت هوش مصنوعی را در کنار بقیه فعالیت‌های آزمایشی خود آسان‌تر کنند.

چه چیزی را می توان به TestRail ارسال کرد؟ #

ابزارهای ارزیابی معمولاً اطلاعاتی مانند:

• درخواست ها و ورودی ها
• خروجی های تولید شده توسط هوش مصنوعی
• ردیابی URL ها
• نمرات بررسی انسانی
• نمرات LLM-as-a-judge
• معیارهای دقت
• ارزیابی های ایمنی
• اندازه گیری تاخیر
• نمرات ارزشیابی

با استفاده از API های TestRail، این داده ها را می توان مستقیماً به نتایج تست ایجاد شده با الگوی ارزیابی هوش مصنوعی

نمونه ای از یک اسکریپت برای آپلود داده ها در Test Case که از الگوی AI Eval استفاده می کند:

TESTRAIL_URL = os.getenv("TESTRAIL_URL")
TESTRAIL_EMAIL = os.getenv("TESTRAIL_EMAIL")
TESTRAIL_API_KEY = os.getenv("TESTRAIL_API_KEY")
TESTRAIL_PROJECT_ID = os.getenv("TESTRAIL_PROJECT_ID")

# ==========================================
# TESTRAIL RESULT ENDPOINT
# ==========================================

result_endpoint = (
    f"{TESTRAIL_URL}/index.php?/api/v2/"
    f"add_result_for_case/{TESTRAIL_RUN_ID}/{case_id}"
)

# ==========================================
# TESTRAIL PAYLOAD
# ==========================================

payload = {
    "status_id": status_id,

    "comment": (
        f"Automated AI Evaluation Result\n\n"
        f"Trace Name: {trace['name']}\n"
        f"Latency: {latency} seconds\n\n"
        f"Notes:\n{notes}"
    ),

    "custom_ai_input": prompt,
    "custom_ai_output": response_output,
    "custom_ai_traces": trace_url,
    "custom_ai_latency": str(latency),
    "quality_rating": filtered_ratings
}

# ==========================================
# SEND RESULT TO TESTRAIL
# ==========================================

result = requests.post(
    result_endpoint,
    json=payload,
    auth=(TESTRAIL_EMAIL, TESTRAIL_API_KEY),
    headers={
        "Content-Type": "application/json"
    }
)

print(f"TestRail Status: {result.status_code}")

if result.status_code == 200:
    print("Result successfully added to TestRail")
else:
    print("ERROR sending result")
    print(result.text)

نمونه گردش کار #

  #

چرا ارزیابی های هوش مصنوعی را با TestRail ادغام کنیم؟ #

پلتفرم‌های ارزیابی هوش مصنوعی در ایجاد امتیاز، ردیابی و نتایج معیار عالی هستند، اما معمولاً برای مدیریت تست‌کیس‌ها یا گردش‌های کاری آزمایشی گسترده‌تر طراحی نشده‌اند.

با آوردن نتایج ارزیابی به TestRail، تیم‌ها می‌توانند سیگنال‌های کیفیت هوش مصنوعی را با فرآیندهای تست ساختاری که قبلاً برای مدیریت کیفیت نرم‌افزار استفاده می‌کنند، متصل کنند.

مزایا عبارتند از:

• نتایج ارزیابی را با موارد آزمایش مرتبط کنید برای ایجاد فرآیند تست هوش مصنوعی قابل تکرار و سازماندهی شده.
• ردیابی پوشش در میان درخواست‌ها، سناریوها و موارد استفاده به جای ارزیابی خروجی ها به صورت مجزا.
• تست های دستی، اتوماسیون و ارزیابی های هوش مصنوعی را ترکیب کنید در همان مجموعه های آزمایشی و طرح های آزمایشی.
• مدل ها، اعلان ها، عوامل و استراتژی های ارزیابی را مقایسه کنید با استفاده از یک چارچوب آزمایشی سازگار
• یک سابقه تاریخی از نتایج ارزیابی را حفظ کنید مرتبط با آزمایش‌ها، نسخه‌ها و نقاط عطف خاص.
• هم از بررسی های انسانی و هم از جریان های کاری LLM-as-a-judge پشتیبانی کنید بدون ایجاد فرآیندهای گزارش دهی جداگانه.
• از داشبوردها و گزارش های TestRail موجود استفاده کنید برای نظارت بر روندهای کیفیت و شناسایی رگرسیون ها در طول زمان.

انعطاف پذیر با طراحی #

از آنجایی که ادغام ها با استفاده از TestRail API ساخته می شوند، تیم ها می توانند تقریباً هر پلت فرم مشاهده یا ارزیابی هوش مصنوعی را به هم متصل کنند.

چه نتایج از ردیابی‌های Langfuse، معیارهای Promptfoo، معیارهای DeepEval، OpenAI Evals، بازبین‌های انسانی، یا سیستم‌های ارزیابی اختصاصی آمده باشند، الگوی ادغام یکسان باقی می‌ماند:

1. یک سناریوی آزمایشی را اجرا کنید.
2. ایجاد نتایج ارزیابی
3. نتایج را به TestRail فشار دهید.
4. نتایج را در کنار تست‌کیس‌ها موجود، مجموعه‌های آزمایشی و فعالیت‌های انتشار دنبال کنید.

نتیجه یک رویکرد ساختاریافته‌تر به کیفیت هوش مصنوعی است که در آن نتایج ارزیابی دیگر از تست‌کیس‌ها که به آن‌ها مربوط می‌شود جدا نمی‌شود، و اندازه‌گیری پوشش، پیگیری کیفیت در طول زمان و مدیریت تست هوش مصنوعی را به عنوان بخشی از فرآیند تحویل نرم‌افزار ساده‌تر می‌کند.