بررسی دیدگاه اعضاء هیات ممتحنه آزمون دانشنامه (بورد)تخصصی بیماریهای پوست در خصوص چگونگی اصلاح روایی آن

Abstract

:چكيده زمينه تحقيق: اخذ مدرك دانشنامه تخصصي نه تنها تداعي گر وجهه حرفه اي مناسب تري است، بلكه با فراهم آوردن امتيازاتي نظير امكان فعاليت در دانشگاه‌ها، فرصت‌هاي شغلي بيشتري را براي دارنده آن به وجود مي‌آورد. درستي هر آزمون در سنجش عملكرد شركت كنندگان در آن از اهميت ويژه اي برخوردار است. يكي از مولفه‌هاي اصلي در ارتباط با درستي يك آزمون، روايي آن مي‌باشد. هدف: بررسي ديدگاه اعضاي هيأت ممتحنه آزمون دانشنامه تخصصي بيماري‌هاي پوست در خصوص امكان اصلاح روايي آن

روش مطالعه: اين مطالعه در قالب يك پژوهش پيمايشي مقطعي طراحي و اجراء شد. ابتدا مصاحبه‌هاي انفرادي بدون ساختار با 2 نفر از اعضاي هيأت ممتحنه آزمون دانشنامه رشته تخصصي بيماري‌هاي پوست، 2 نفر از اعضاء هيأت علمي كه عضو هيأت ممتحنه آزمون نبودند و 2 نفر از دستياران رشته تخصصي پوست انجام شد. پس از تحليل محتوايي، تنظيم گويه‌ها و انجام برخي اصلاحات بر اساس نظر هيات خبرگان، روايي صوري و روايي محتوايي ابزار تهيه شده مورد تاييد قرار گرفت. سپس اين ابزار توسط عضوي از اعضاي هيات ممتحنه آزمون مورد اشاره در زمان برگزاري جلسات طراحي سوالات 1392 در اختيار اعضاء حاضر در جلسات قرار گرفت. پس از جمع آوري، داده‌ها در پايگاه داده اي كه به اين منظور طراحي شده بود وارد شدند. براي بررسي روايي سازه اي ابزار تهيه شده براساس مدل Rasch از نسخه 3/75 نرم افراز. Winstep (Winstep© John M. Linacre, Chicago, IL., USA) استفاده شد. نتايج به صورت نمودار، جدول و متن ارايه شدند. نتايج: پانزده نفر از 16 نفر حاضر عضو هيات ممتحنه آزمون دانشنامه رشته تخصصي بيماري‌هاي پوست سال 1392 گويه‌هاي مورد نظر خود را در ابراز مورد استفاده انتخاب كردند. ده نفر (66/7%) از پاسخ دهندگان مرد بودند. ميانگين (انحراف معيار) سن شركت كنندگان و مدت عضويت آنها در هيات ممتحنه آزمون به ترتيب برابر 56/1 (7/8) سال و 9/6 (6/2) سال بود. براساس مدل Rasch تكوين يافته براي 15 شركت كننده و 20 گويه، ميانگين (خطاي معيار) اندازه موافقت شركت كنندگان در مطالعه و ميانگين (خطاي معيار) اندازه شكل بودن گويه‌ها براي مورد موافقت قرار گرفتن به ترتيب برابر 0/51 (0/32) و 0/00 (0/38) logit بود. ميانگين (خطاي معيار) اندازه سخت ترين و آسانترين گويه‌ها، " استفاده بيشتر از سوالات key feature problem (KFP) در آزمون كتبي دانشنامه رشته تخصصي بيماري‌هاي پوست مي‌تواند به سنجش بهتر توان تصميم گيري تشخيصي دستياران منجر شود" و " در آزمون دانشنامه نگرش دستياران نسبت به مقوله ي اخلاق به شكل مناسبي سنجيده مي‌شود" ، براي مورد موافقت قرار گرفتن به ترتيب برابر 2/42- (0/52) و 2/32 (0/40) logit بود. از ميان گويه‌ها، گويه ي " مهارت يك دستيار در تشخيص يك ضايعه پوستي از روي تصوير كاملا منعكس كننده مهارت او در تشخيص آن ضايعه پوستي در مواجهه با بيمار حقيقي است"، در خلاف جهت متغير نهفته مدل حركت بود (همبستگي اندازه نقطه اي 0/07-). همبستگي اندازه نقطه اي 15 گويه بر مناسب آنها براي سنجش متغير نهفته مدل دلالت داشت. براي ارزيابي همساني داخلي ابزار، آلفاي كرونباخ محاسبه شد كه مقدار آن برابر 0/76 بود. بحث و نتيجه گيري: براساس نتايج اين پژوهش، در حالي كه 53% اعضاي هيات ممتحنه آزمون دانشنامه تخصصي بيماري‌هاي پوست مخالف آن بوده اند كه آزمون كتبي حيطه‌هاي دانش دستياران را به درستي مي‌سنجد، اكثريت آنها با روش‌هاي اصلاح روايي آزمون كتبي نيز مخالف بوده اند. همچنين اكثريت آنها با به كارگيري روش‌هاي اصلاح روايي آزمون شفاهي نيز مخالف بودند. به نظر مي‌رسد عواملي نظير اتكاء به نتايج آزمون‌هاي ارتقاء و ارزيابي‌هاي درون بخشي، وجود برخي قوانين و آيين نامه‌ها كه اصلاح روايي آزمون را محدود مي‌كنند، تجربيات ناموفق قبلي در استفاده از برخي روش‌هاي مناسب ارزيابي، ناآشنايي اكثريت پاسخ دهندگان با روشهاي مناسب ارزيابي و برخي سوگرايي‌ها، در حاصل شدن نتايج اين پژوهش دخيل بوده اند. كليدواژه‌ها: آزمون دانشنامه تخصصي، ارزيابي، روايي، بيماري‌هاي پوست، مدل Rasch

Abstract: Background: Board certification in any specialty is associated with a better professional reputation as well as some other advantages such as the opportunity of working as an academician. Accuracy of any test in the assessment of its participant performance is of paramount importance. One of the main factors regarding test accuracy is its validity. Purpose: The purpose of this study was to investigate the views of the Iranian Board of Dermatology Examination Committee (IBDEC) Members on improving its validity. Methods: This study was a cross sectional survey. In order to extract the items for development of the instrument for the survey, unstructured individual interviews were conducted with two members of the IBDEC, two faculty members who were not members of the IBDEC, and two resident dermatologists. After performing a content analysis, writing the items, and making revisions in accordance with the expert panel suggestions, the face and content validities of the developed instrument were confirmed by the panel. A member of the IBDEC distributed the copies of the instrument to the members of the IBDEC in September 2013. The collected data were entered into a data set. In order to evaluate the construct validity and reliability of the instrument a Rasch model was developed. This was done using version 3.75 of Winstep© (Winstep©, John M. Linacre, Chicago, IL, USA) software. The findings were reported as graphs, tables and text. Results: Fifteen of 16 present members of the IBDEC answered and returned the instrument to the distributer.Ten (%66.7) of participants were male. Mean (standard deviation [SD]) of age and membership duration in IBDEC of the participants were 56.1 (7.8) and 9.6 (6.2) years, respectively. According to the developed Rasch model for 15 participants and 20 items, the mean measure (standard error [SE]) for agreement with the items and item difficulty were 0.51 (0.32) and 0.00 (0.38) logit, respectively. The most difficult and easiest items for being agreed upon were: "Inclusion of key feature problems (KFP) in the written examination may result in better assessment of the residents' clinical decision making" and: "In the board examination, attitudes of the residents towards ethical issues are assessed properly", -2.42 (0.52) and 2.32 (0.40) logit, respectively. The item: "The diagnostic skill of a resident on a clinical dermatology slide exactly matches his/her clinical diagnosis skill for a skin lesion on a real patient" was the only item that was not aligned with the model's latent variable (point measure correlation -0.07). Point measure correlation of 15 items indicated that they were in alignment with the model's latent variable. Cronbach's α was calculated for assessment of the internal consistency of the instrument and was equaled to 0.76. Conclusion: While 53% of the IBDEC members were disagree with that the written board examination can assess residents' different levels of knowledge properly, the majority of them were also disagree with the implementation of suggested approved methods for improving the validity of the written board examination. Most of them were also disagree with implementation of evaluation methods for improving oral examination validity. It seems that some factors such as dependence on the results of the internal evaluations, limiting regulations for improving examination's validity, previous unsuccessful experience regarding implementation of certain evaluation methods, ignorance of the majority of the IBDEC members about proper assessment methods, and some biases have contributed to results of this study. Keywords: assessment, board examination, construct validity, dermatology, Rasch model