گزارش Comparison for References (Results)

نمای کلی #

گزارش Comparison for References (Results) وضعیت testهایی را نشان می‌دهد که برای هر reference برنامه‌ریزی یا اجرا کرده‌اید. این گزارش testها را بر اساس referenceهایی گروه‌بندی می‌کند که به test caseها لینک شده‌اند. می‌توانید همه referenceها را در گزارش بیاورید یا reference IDهای مشخصی را برای گزارش انتخاب کنید. همچنین می‌توانید بخش‌های خاصی از test caseها را انتخاب کنید و فیلترهایی مثل test type، priority و موارد مشابه را اعمال کنید. 

ایجاد گزارش Comparison for References (Results) #

پیش‌نیازها #

مطمئن شوید مجوزهای زیر برای role کاربری شما فعال باشد.

برای جزئیات بیشتر، به راهنمای مدیریت roleها و مجوزهای کاربر مراجعه کنید

مراحل ایجاد گزارش Comparison for References (Results) #

برای ایجاد گزارش Comparison for References (Results) در TestRail، باید چند گزینه پیکربندی را تنظیم کنید.

به projectی بروید که می‌خواهید برای آن test report بسازید. سپس به Reports.

در سمت راست، پنلی با عنوان Create a Report روی Comparison for References در بخش Results کلیک کنید.

در صفحه Add Report، ۳ بخش اصلی را می‌بینید: 

• Name and Description
• Report Options
• Access & Scheduling

برای پیکربندی هر بخش، مراحل زیر را دنبال کنید.

1. Name and Description

   نام و توضیح گزارش را در فیلدهای مربوط وارد کنید.

2. Report Options

   در صفحه Add Report، تا بخش Report Optionsپایین بروید. در این بخش، چهار تب را می‌بینید: REFERENCES، SECTIONS، & TEST RUNS و TEST CASES.

   REFERENCES 

   در تب REFERENCES دو گزینه دارید. گزینه اول این است که همه referenceها را شامل کنید تا گزارشی برای همه referenceهایی ساخته شود که به testهای خود لینک کرده‌اید.

   

   گزینه دوم این است که reference IDهای referenceهای مشخصی را که می‌خواهید در گزارش بیایند وارد کنید. در هر خط فقط یک reference ID وارد کنید.

   

    

   SECTIONS & TEST RUNS

   در تب SECTIONS & TEST RUNS می‌توانید کارهای زیر را انجام دهید:

   

   1. مشخص کنید همه بخش‌های test caseها در گزارش لحاظ شوند یا فقط بخش‌های مشخص. با این کار می‌توانید نتایج بخش‌های خاصی از test case را که لازم دارید در گزارش نمایش دهید. برای انتخاب چند بخش یا زیربخش، کلید Ctrl/Cmd را نگه دارید و روی آن‌ها کلیک کنید.

      

   2. test runهایی را انتخاب کنید که می‌خواهید نتایج تست آن‌ها را ببینید. این کار به دو روش انجام می‌شود. در روش اول، یک یا چند فیلتر اعمال می‌کنید تا test runهایی انتخاب شوند که با فیلترهای اعمال‌شده مطابقت دارند. می‌توانید test runها را با پارامترهایی مثل Assigned To، Completed On، Created By، Milestone و موارد مشابه فیلتر کنید. این روش زمانی مفید است که بخواهید نتایج تست‌ها را در چند test run با معیارهای مشخص مقایسه کنید؛ مثلاً همه test runهای یک test plan مشخص، یا test runهای مربوط به یک milestone که برای پیگیری تست‌های یک release خاص استفاده می‌کنید.

      

       

      سپس روی Add Test Runsکلیک کنید؛ بعد روی Apply Filtersکلیک کنید.

      

      روش دوم این است که test runها را یکی‌یکی انتخاب کنید. روی radio button کنار Only the following test runs, سپس روی Add Test Runs کلیک کنید و کادر مربوط به هر test runی را که می‌خواهید در گزارش باشد علامت بزنید.

      
       

   3. حداکثر تعداد test runهایی را که در گزارش لحاظ می‌شوند انتخاب کنید. این عدد می‌تواند ۵، ۱۰، ۲۵، ۵۰ یا ۱۰۰ باشد. 

   TEST CASES 

   در تب TEST CASES می‌توانید کارهای زیر را انجام دهید:

   1. ستون‌های TestRail را که می‌خواهید برای نمایش اطلاعات test caseها در جدول بیایند انتخاب کنید. ستون‌های پیش‌فرض شامل ID و Title هستند. بسته به اطلاعاتی که می‌خواهید نمایش دهید، می‌توانید ستون‌های دیگری مثل Status، Type (نوع test case)، Priority و موارد مشابه را اضافه کنید.

      

   2. اگر Jira Cloud فعال و پیکربندی‌شده دارید، می‌توانید Jira Column(s) را هم انتخاب کنید. همچنین می‌توانید از بین فیلدهای Jira که برای Referenceها تنظیم شده‌اند، ستون‌های لازم را برای گزارش انتخاب کنید. این ستون‌ها هم مثل TestRail Columns (Summary) و ستون‌های اضافه‌ای که بالاتر گفته شد به گزارش اضافه می‌شوند. 

      

   3. اگر می‌خواهید مقایسه نتایج تست برای هر test run انتخاب‌شده در گزارش نمایش داده شود، باید کادر مربوط به این گزینه را، همان‌طور که در شکل زیر نشان داده شده، علامت بزنید. برای نمایش آخرین نتیجه یا نتیجه ترکیبی تست‌ها برای test runهای انتخاب‌شده هم همین کار را انجام دهید. بعد از آن می‌توانید حداکثر تعداد test caseهایی را که در گزارش می‌آیند تعیین کنید. این عدد می‌تواند ۱۰۰، ۲۵۰، ۵۰۰، ۱۰۰۰، ۲۵۰۰ یا ۵۰۰۰ باشد.

      
       

    

3. Access & Scheduling

   در این بخش می‌توانید گزینه‌های Access و Scheduling را تنظیم کنید. برای جزئیات بیشتر، به راهنمای General configurations مراجعه کنید.

در پایان، پایین صفحه بروید و روی Add Report کلیک کنید تا گزارش ساخته شود.

خواندن گزارش مقایسه Referenceها (نتایج) #

در این مرحله توجه داشته باشید که ساخت گزارش، بسته به حجم داده‌های داخل آن، ممکن است زمان ببرد. بعد از اینکه گزارش کامل ساخته شد، می‌توانید با رفتن به Reports و کلیک روی گزارش مربوطه در فهرست، آن را ببینید. اولین نمودار در صفحه گزارش، یک نمودار میله‌ای انباشته است که نتایج تست‌های لینک‌شده به Referenceها و test caseهای انتخاب‌شده را نشان می‌دهد. سه میله سمت چپ، UI Test Runs را به‌ترتیب برای Android، iOS و Windows نشان می‌دهند. سه میله بعدی نیز نتایج Smoke Test را نشان می‌دهند و بعد از آن‌ها سه میله دیگر نتایج Regression Test Runsرا نمایش می‌دهند. در سمت راست نمودار، میله‌ای قرار دارد که آخرین نتیجه یا نتیجه ترکیبی تست‌ها را برای تست‌های لینک‌شده به Referenceها و test caseهای انتخاب‌شده نشان می‌دهد.

برای دیدن جزئیات بیشتر، نشانگر ماوس را روی هر میله نگه دارید.

در ادامه، فهرستی از test runهای لینک‌شده به Referenceهای انتخاب‌شده را می‌بینید که در گزارش آمده‌اند. برای دیدن آمار کامل، جدول را به سمت راست اسکرول کنید.

بعد از آن، جدولی می‌بینید که configuration، test plan و milestone مرتبط با test run را، در صورت وجود، نشان می‌دهد. همچنین تعداد کل تست‌های موجود در آن test run که به Referenceهای انتخاب‌شده لینک شده‌اند و خلاصه‌ای از تعداد تست‌ها با وضعیت‌های Passed، Blocked، Untested، Retest و Failed برای هر test run انتخاب‌شده را نمایش می‌دهد. اگر test run را خارج از یک test plan ساخته باشید یا آن را به milestone لینک نکرده باشید، این فیلدها خالی نمایش داده می‌شوند.

 

آخرین جدول گزارش بسیار مهم است، چون فهرست همه Referenceهای موجود در گزارش و test caseهای مرتبط با آن‌ها را نشان می‌دهد. اطلاعاتی را که هنگام تنظیم گزارش برای هر test case انتخاب کرده‌اید می‌بینید؛ مثل Case ID، Title و هر ستون دیگری که اضافه کرده‌اید. همچنین وضعیت فعلی تست‌هایی را می‌بینید که برای test caseها در هر test run اضافه کرده‌اید. اگر سلولی در جدول خالی باشد، یعنی برای آن test case در test runهای مشخصی که در گزارش آمده‌اند تستی اضافه نکرده‌اید.

شکل زیر نشان می‌دهد که test case‌های لینک‌شده به مرجع TRM-۱ شامل C204، C7452 و C8414 هستند. همچنین توجه داشته باشید که یک test case می‌تواند به بیش از یک مرجع لینک شود. برای مثال، شکل زیر نشان می‌دهد که test case با شناسه C7452 به مراجع TRM-۱ و TRM-۴۲ لینک شده است.

برای دیدن اطلاعات کامل‌تر درباره یک test case، می‌توانید روی همان test case کلیک کنید. 

ممکن است test case‌ها و test‌های مربوط به آن‌ها به چند مرجع لینک شده باشند. برای مثال، در تصویر زیر می‌بینید که test case با شناسه C7452 به دو مرجع TRM-۴۲ و TRM-۱ لینک شده است. وقتی گزارش نمایش داده می‌شود، این test case زیر هر گروه مرجع نشان داده می‌شود. علاوه بر این، می‌توانید اطلاعات دیگری مانند نوع test، اولویت و status را هم ببینید.