گزارش Comparison for Cases (Results)

نمای کلی #

گزارش Comparison for Cases (Results) همه test caseهایی را که در چند test run اجرا کرده‌اید، همراه با نتایج آن‌ها نشان می‌دهد. می‌توانید برای گزارش فقط بخش‌های مشخصی از test caseها را انتخاب کنید یا test caseهای نمایش‌داده‌شده در گزارش را بر اساس فیلدهای مختلف، مثل نوع تست، اولویت و موارد دیگر، فیلتر کنید.

این گزارش دید بهتری از وضعیت تست‌ها در چندین test run به شما می‌دهد. همچنین کمک می‌کند مشکلات احتمالی در test suite یا بخش‌هایی از برنامه را که در یک release مشخص ریسک بیشتری دارند، شناسایی کنید؛ برای مثال، وقتی چند تست ناموفق در یک بخش متمرکز شده‌اند.

ایجاد گزارش Comparison for Cases (Results) #

پیش‌نیازها #

مطمئن شوید مجوزهای زیر برای نقش کاربری شما فعال است.

برای جزئیات بیشتر، به راهنمای مدیریت نقش‌های کاربری و مجوزها مراجعه کنید

مراحل ایجاد گزارش Comparison for Cases (Results) #

برای ساخت گزارش Comparison for Cases (Results) در TestRail، باید چند تنظیم پیکربندی را مشخص کنید.

به projectی بروید که می‌خواهید برای آن گزارش تست بسازید. سپس به Reports

در سمت چپ، پنلی با عنوان Create a Report روی Comparison for Cases در بخش Results کلیک کنید.

در صفحه Add Report، این ۴ بخش اصلی را می‌بینید: 

• Name and Description
• Report Options
• Access & Scheduling

برای پیکربندی هر بخش، مراحل زیر را دنبال کنید.

1. Name and Description

   نام و توضیحات گزارش را در فیلدهای مربوط به هرکدام وارد کنید.

2. Report Options

   در صفحه Add Report، پایین بروید تا به Report Options برسید. در این قسمت، دو تب می‌بینید: SECTIONS، & TEST RUNS و TEST CASES. 

   SECTIONS & TEST RUNS 

   در تب‌های sections و test runs می‌توانید کارهای زیر را انجام دهید:

   

   1. انتخاب کنید همه بخش‌های test caseها در گزارش بیاید یا فقط بخش‌های مشخصی نمایش داده شود. با این کار می‌توانید نتایج بخش‌های خاصی از مخزن test case خود را در گزارش نشان دهید. برای مثال، اگر می‌خواهید روی قابلیت‌هایی مثل Login و Messaging تمرکز کنید، فقط همان دو بخش را انتخاب کنید. برای انتخاب چند بخش یا زیربخش، کلید Ctrl/Cmd را نگه دارید و روی گزینه‌های موردنظر کلیک کنید.

      
       

   2. test runهایی را انتخاب کنید که می‌خواهید نتایج تست آن‌ها را ببینید. این کار به دو روش انجام می‌شود. روش اول این است که یک یا چند فیلتر اعمال کنید تا test runهایی انتخاب شوند که با فیلترهای اعمال‌شده مطابقت دارند. می‌توانید test runها را با پارامترهایی مثل Assigned To، Completed On، Created By، Created On، Is Completed، Milestone و Test Plan فیلتر کنید. این روش زمانی مفید است که بخواهید نتایج تست‌ها را در چند test run با معیارهای مشخص مقایسه کنید؛ برای مثال، همه test runهای یک test plan مشخص، یا test runهای مربوط به milestoneی که برای پیگیری تست‌های یک release خاص استفاده می‌کنید.

      
       

   3. سپس روی Add Test Runs؛ سپس روی Apply Filtersکلیک کنید.

      

      گزینه دوم این است که test runها را یکی‌یکی انتخاب کنید. 

      

      حداکثر تعداد test runهایی را که می‌خواهید اضافه شوند انتخاب کنید. این مقدار می‌تواند ۵، ۱۰، ۲۵، ۵۰ یا ۱۰۰ باشد. 

      test caseها 

      در تب test caseها می‌توانید کارهای زیر را انجام دهید:

      1. test caseهایی را که باید در گزارش نمایش داده شوند، بر اساس هر case field، از جمله custom case fieldها، به‌جز فیلدهای متنی فیلتر کنید؛ مثل Assigned to، Created By، Deletion Status، Estimate، Priority و غیره. برای نمونه، در شکل زیر، فیلتر Priority اعمال شده و روی Highتنظیم شده است.

         

      2. ستون‌های TestRail را که باید در جدول نمایش اطلاعات test caseها بیایند انتخاب کنید. ستون‌های پیش‌فرض شامل ID و Title هستند. بسته به اطلاعاتی که می‌خواهید نمایش دهید، می‌توانید ستون‌های دیگری مثل Type (نوع test case)، Priority، Created On و غیره اضافه کنید.

         

      3. اگر پیکربندی Jira Cloud فعال دارید و References را به‌عنوان یکی از ستون‌های TestRail اضافه کرده باشید، بخش جدیدی به نام Jira Columns نمایش داده می‌شود. به همین شکل، می‌توانید از بین fieldهای Jira پیکربندی‌شده برای References، مواردی را که باید در گزارش بیایند انتخاب کنید. این ستون‌ها هم به همان روشی اضافه می‌شوند که TestRail Columns (Summary) و ستون‌های اضافی بالا را اضافه می‌کنید.

         

      4. اگر می‌خواهید در گزارش، مقایسه test resultهای هر test run انتخاب‌شده را نشان دهید، باید چک‌باکس مربوط به این گزینه را همان‌طور که در شکل زیر نشان داده شده فعال کنید. اگر بخواهید آخرین/ترکیبی test result مربوط به test runهای انتخاب‌شده را نشان دهید هم همین کار را انجام دهید. بعد از آن می‌توانید حداکثر تعداد test caseهایی را که در گزارش می‌آیند تعیین کنید. این مقدار می‌تواند ۱۰۰، ۲۵۰، ۵۰۰، ۱۰۰۰، ۲۵۰۰ یا ۵۰۰۰ باشد.

         
          

       

3. دسترسی & زمان‌بندی

   این بخش به کاربران اجازه می‌دهد گزینه‌های دسترسی و زمان‌بندی را تنظیم کنند. برای جزئیات بیشتر، به راهنمای تنظیمات کلی مراجعه کنید.

در پایان، به پایین صفحه اسکرول کنید و روی Add Report کلیک کنید تا گزارش تولید شود.

خواندن گزارش مقایسه test caseها (نتایج) #

بسته به حجم داده‌های موجود، تولید گزارش ممکن است چند دقیقه طول بکشد. بعد از کامل شدن گزارش، می‌توانید آن را مشاهده و تفسیر کنید.

برای مشاهده گزارش، به بخش Reports بروید و از فهرست، روی گزارش موردنظر کلیک کنید.

اولین نمودار در صفحه گزارش، یک نمودار میله‌ای انباشته است که تعداد کل test resultهای ثبت‌شده برای هر test run انتخاب‌شده و تفکیک test resultها بر اساس status را نشان می‌دهد. در سمت راست نمودار، میله‌ای قرار دارد که آخرین/ترکیبی test resultها را برای هر test case که در test runهای انتخاب‌شده تست کرده‌اید نشان می‌دهد.

برای دیدن جزئیات بیشتر، نشانگر ماوس را روی هر میله نگه دارید.

بعد، فهرست test runهای موجود در گزارش را می‌بینید.

بلافاصله بعد از آن، جدولی می‌آید که پیکربندی، test plan و milestone مرتبط با test run (در صورت وجود)، تعداد کل testها در آن test run، و خلاصه‌ای از تعداد testها با statusهای Passed، Blocked، Untested، Retest و Failed را برای هر test run انتخاب‌شده نشان می‌دهد. اگر test run را خارج از test plan ساخته باشید یا آن را به milestone لینک نکرده باشید، این فیلدها خالی نمایش داده می‌شوند.

در پایان، گزارش چند جدول مختلف نشان می‌دهد که همه test caseهایی را فهرست می‌کنند که برای آن‌ها در test runهای موجود در گزارش، test اضافه کرده‌اید.

اطلاعات هر test case را مطابق تنظیماتی که هنگام ساخت گزارش انجام داده‌اید می‌بینید؛ مثل Case ID، Title و هر ستون دیگری که اضافه کرده‌اید. همچنین status فعلی هر test را می‌بینید که برای test caseها در هر test run اضافه کرده‌اید. اگر سلولی در جدول خالی باشد، یعنی برای آن test case در آن test run خاص، test اضافه نکرده‌اید. به همین ترتیب، اگر یک ردیف کامل خالی باشد، یعنی برای آن test case در هیچ‌کدام از test runهای داخل گزارش test اضافه نکرده‌اید. شکل زیر نتایج یک مجموعه نمونه از test caseها را در بخشی به نام «Download and Installation» نشان می‌دهد.

همان‌طور که در شکل دیده می‌شود، test case با ID C204 (کاربر می‌تواند برنامه را روی دستگاه موبایل نصب کند) اولویت آن روی Critical تنظیم شده است و نوع test انجام‌شده برای این test case، smoke test بوده است. همچنین می‌بینید که smoke test برای Android و iOS با وضعیت Passed ثبت شده، اما برای Windows با وضعیت Failed ثبت شده است.