یکپارچه‌سازی ابزارهای ارزیابی هوش مصنوعی با TestRail

تیم‌های هوش مصنوعی امروز برای ارزیابی کیفیت برنامه‌هایشان از مجموعه‌ای رو‌به‌رشد از ابزارها استفاده می‌کنند.

فرقی نمی‌کند از Langfuse، LangSmith، DeepEval، OpenAI Evals، Arize Phoenix یا یک evaluation pipeline سفارشی استفاده کنید؛ این ابزارها کمک می‌کنند سیگنال‌های کیفی ارزشمندی درباره عملکرد سیستم هوش مصنوعی شما تولید شود.

چالش اینجاست که نتایج ارزیابی اغلب داخل همان پلتفرم‌ها باقی می‌مانند و از بقیه فرایندها جدا می‌شوند.

با قالب AI Evaluation و APIهای TestRail ، تیم‌ها می‌توانند نتایج ارزیابی را به‌صورت خودکار به TestRail ارسال کنند و یک محل متمرکز برای پیگیری کیفیت AI در کنار سایر فرایندهای تست و انتشار داشته باشند.

AI Quality Stack #

بیشتر سازمان‌ها همین حالا در چند لایه از AI stack خود ابزارهای مختلفی دارند.

بیشتر پلتفرم‌های ارزیابی AI روی ارزیابی خروجی‌ها تمرکز دارند، نه مدیریت test caseها. این پلتفرم‌ها می‌توانند به پاسخ‌ها امتیاز بدهند، promptها را benchmark کنند و مدل‌ها را با هم مقایسه کنند؛ اما معمولاً راهکاری ساختاریافته برای سازمان‌دهی ارزیابی‌ها در test suiteها، پیگیری coverage، یا اتصال نتایج به فرایندهای گسترده‌تر کیفیت و انتشار ارائه نمی‌دهند.

با ارسال نتایج ارزیابی به TestRail، تیم‌ها می‌توانند خروجی‌های ارزیابی AI را به test caseهای ساختاریافته وصل کنند. این کار پیگیری coverage، مقایسه نتایج در طول زمان، و مدیریت کیفیت AI را در کنار سایر فعالیت‌های تست آسان‌تر می‌کند.

چه چیزهایی را می‌توان به TestRail ارسال کرد؟ #

ابزارهای ارزیابی معمولاً اطلاعاتی از این نوع تولید می‌کنند:

• Promptها و ورودی‌ها
• خروجی‌های تولیدشده توسط AI
• URLهای trace
• امتیازهای بازبینی انسانی
• امتیازهای LLM-as-a-Judge
• متریک‌های accuracy
• ارزیابی‌های safety
• اندازه‌گیری‌های latency
• امتیازهای ارزیابی

با استفاده از APIهای TestRail ، این داده‌ها را می‌توان مستقیماً به test resultهایی متصل کرد که با قالب AI Evaluation ایجاد شده‌اند.

نمونه‌ای از یک script برای آپلود داده‌ها در test case شما که از AI Eval Template استفاده می‌کند:

TESTRAIL_URL = os.getenv("TESTRAIL_URL")
TESTRAIL_EMAIL = os.getenv("TESTRAIL_EMAIL")
TESTRAIL_API_KEY = os.getenv("TESTRAIL_API_KEY")
TESTRAIL_PROJECT_ID = os.getenv("TESTRAIL_PROJECT_ID")

# ==========================================
# TESTRAIL RESULT ENDPOINT
# ==========================================

result_endpoint = (
    f"{TESTRAIL_URL}/index.php?/api/v2/"
    f"add_result_for_case/{TESTRAIL_RUN_ID}/{case_id}"
)

# ==========================================
# TESTRAIL PAYLOAD
# ==========================================

payload = {
    "status_id": status_id,

    "comment": (
        f"Automated AI Evaluation Result\n\n"
        f"Trace Name: {trace['name']}\n"
        f"Latency: {latency} seconds\n\n"
        f"Notes:\n{notes}"
    ),

    "custom_ai_input": prompt,
    "custom_ai_output": response_output,
    "custom_ai_traces": trace_url,
    "custom_ai_latency": str(latency),
    "quality_rating": filtered_ratings
}

# ==========================================
# SEND RESULT TO TESTRAIL
# ==========================================

result = requests.post(
    result_endpoint,
    json=payload,
    auth=(TESTRAIL_EMAIL, TESTRAIL_API_KEY),
    headers={
        "Content-Type": "application/json"
    }
)

print(f"TestRail Status: {result.status_code}")

if result.status_code == 200:
    print("Result successfully added to TestRail")
else:
    print("ERROR sending result")
    print(result.text)

نمونه workflow #

  #

چرا ارزیابی‌های AI را با TestRail یکپارچه کنیم؟ #

پلتفرم‌های ارزیابی AI برای تولید score، Trace و نتایج benchmark بسیار خوب عمل می‌کنند، اما معمولاً برای مدیریت test caseها یا workflowهای گسترده‌تر تست طراحی نشده‌اند.

با وارد کردن نتایج ارزیابی به TestRail، تیم‌ها می‌توانند سیگنال‌های کیفیت AI را به فرایندهای ساختاریافته تستی وصل کنند که از قبل برای مدیریت کیفیت نرم‌افزار استفاده می‌کنند.

مزایا شامل این موارد است:

• ارتباط دادن نتایج ارزیابی با test caseها برای ایجاد یک فرایند تست AI منظم و قابل تکرار.
• پیگیری coverage در promptها، سناریوها و use caseها به‌جای اینکه خروجی‌ها جداگانه ارزیابی شوند.
• ترکیب تست دستی، automation و ارزیابی‌های AI در همان test suiteها و test planها.
• مقایسه مدل‌ها، promptها، agentها و استراتژی‌های ارزیابی با استفاده از یک framework تست یکپارچه.
• سوابق نتایج ارزیابی را در طول زمان نگه دارید که به testهای مشخص، releaseها و milestoneهای خاص مرتبط هستند.
• از بازبینی‌های انسانی و workflowهای LLM-as-a-Judge پشتیبانی کنید بدون اینکه فرایندهای گزارش‌دهی جداگانه بسازید.
• از dashboardها و reportهای موجود TestRail استفاده کنید تا روندهای کیفیت را پایش کنید و regressionها را در طول زمان شناسایی کنید.

طراحی‌شده برای انعطاف‌پذیری #

از آنجا که integrationها با TestRail API ساخته می‌شوند، تیم‌ها می‌توانند تقریباً هر پلتفرم observability یا ارزیابی هوش مصنوعی را متصل کنند.

فرقی ندارد نتایج از traceهای Langfuse، benchmarkهای Promptfoo، metricهای DeepEval، OpenAI Evals، بازبین‌های انسانی یا سیستم‌های ارزیابی اختصاصی بیایند؛ الگوی integration یکسان است:

1. یک سناریوی تست را اجرا کنید.
2. نتایج ارزیابی را تولید کنید.
3. نتایج را به TestRail ارسال کنید.
4. خروجی‌ها را در کنار test caseها، test suiteها و فعالیت‌های release موجود خود پیگیری کنید.

نتیجه، رویکردی ساختاریافته‌تر برای کیفیت هوش مصنوعی است؛ در این رویکرد، نتایج ارزیابی دیگر از test caseهای مرتبط با خود جدا نیستند و اندازه‌گیری پوشش، پیگیری کیفیت در طول زمان، و مدیریت AI testing به‌عنوان بخشی از فرایند گسترده‌تر تحویل نرم‌افزار آسان‌تر می‌شود.