پیش از این در بخش مقالات آموزشی، درباره‌ی چیستی ایمپکت فاکتور مجلات علمی به تفصیل صحبت کرده‌ایم و به بررسی مجلات با ایمپکت فاکتور بالا هم پرداخته‌ایم. درست یا غلط، ایمپکت فاکتور مجلاتی که مقالات یک محقق، در آن‌ها منتشر شده است، به عنوان یکی از اساسی‌ترین معیارهای سنجش عملکرد آن محقق شناخته می‌شود و معمولا افراد حساسیت زیادی بر روی این معیار دارند.
رابطه دانشمندان با ایمپکت فاکتور مجلات (JIF) ترکیبی از عشق و نفرت است. همان‌طور که می‌دانید این ضریب نشانگر ارزش و جایگاه تخصصی مجله است اما محققان و دانشمندان از این ضریب نه‌تنها برای تصمیم‌گیری در مورد مجله مدنظر برای چاپ مقالات تحقیقاتی خود، بلکه برای ارزیابی و قضاوت در مورد سایر افراد نیز استفاده می‌کنند. ارزیابی افراد متقاضی یک شغل توسط رزومه کاری، بررسی صلاحیت فرد برای حفظ شغل یا ارائه کمک‌های مالی به یک محقق نیز موارد دیگری هستند که در آن‌ها ایمپکت فاکتور مهم به شمار می‌رود؛ بلی تمام این موارد به یک عدد ساده بستگی دارند.
نظرات متفاوت محققان درباره‌ی ایمپکت فاکتور
بسیاری از افراد، ایمپکت فاکتور را به‌عنوان عددی بی‌فایده و حتی مخرب برای جوامع علمی قلمداد می‌کنند اما در تلاش برای تبیین اهمیت این عدد، گروهی از محققین و ویراستاران مجلات، تحلیلی از داده‌ها و تعداد استنادات مورد استفاده برای محاسبه پارامتر ایمپکت فاکتور ارائه داده‌اند که بررسی نتایج آن تحقیق، منتقدان پارامتر ایمپکت فاکتور را شگفت‌زده خواهد کرد.
محاسبه ایمپکت فاکتور مجلات ممکن است بسیار ساده به نظر برسد. ایمپکت فاکتور متوسط تعداد دفعاتی است که مقالات یک مجله طی دو سال اخیر توسط سایر مقالات و مجلات مورد ارجاع قرار گرفته‌اند. برای مثال، ایمپکت فاکتور مجله Nature در حال حاضر برابر ۴۱/۴۵۶ است که نشان می‌دهد هر یک از مقالات این مجله در دو سال اخیر به‌طور متوسط ۴۱ بار ارجاع داده شده‌اند.
موضوع این است که ایمپکت فاکتور مجلات اغلب اوقات اشتباه تفسیر می‌شود. برای مثال، اگر تعداد ارجاعات مقالات همانند قد افراد بود، در این صورت عدد متوسط بسیار معنادار می‌شد. مردان به‌طور متوسط قدبلندتر از زنان هستند و در نتیجه می‌توان صرفاً با اطلاع از جنسیت، برآوردی از قد افراد داشت اما توزیع ارجاعات به مقالات مختلف چاپ شده در یک مجله علمی، بسیار ناهمگن است. برخی از مقالات بیشترین ارجاع را دریافت می‌کنند در حالی که برخی دیگر از مقالات به‌ندرت ارجاعی دریافت کرده یا هرگز ارجاع داده نمی‌شوند؛ بنابراین، تعداد متوسط ارجاعات گاهی اوقات بسیار سردرگم‌کننده است.
لوکاس کاری، زیست‌شناس سلولی در دانشگاه پومپئو فابرا در بارسلونای اسپانیا که در این مطالعه نقشی نداشته دو مشکل اساسی را برای ایمپکت فاکتور مجلات بیان کرده است. او می‌گوید: «ایمپکت فاکتور به‌عنوان یک معیار پیش‌بینی‌کننده، بسیار بی‌معنی است»، به این معنا که انتشار مقاله در مجله‌ای با ایمپکت فاکتور بالا نشانگر احتمال بالای ارجاع به آن مقاله از سوی سایر مجلات و مقالات نیست. مشکل دیگر این است که «روش محاسبه ایمپکت فاکتور مجلات مبهم است».
تامسون رویترز و محاسبه ایمپکت فاکتور مجلات
این ابهام از شرکت “تامسون رویترز” نشئت می‌گیرد. این شرکت خصوصی محاسبه ایمپکت فاکتور مجلات را بر عهده دارد و از راه، فروش دسترسی به Web of Science به‌عنوان دیتابیس مجلات و داده‌های مرتبط با ارجاعات و استنادات، کسب درآمد می‌کند. همچنین این شرکت داده‌های مربوط به ارجاعات را از طریق بخش منابع مقالات جمع‌آوری می‌کند. مساله این است که مجلات از قالب‌های متعددی استفاده کرده و برخی نیز ارجاعات را به‌صورت مختصر بیان می‌کنند که شناسایی مقاله مورد ارجاع را دشوارتر می‌سازد. خطاهای تایپی و سایر اشتباهات نیز بررسی ارجاعات را چالش‌برانگیزتر می‌سازند.
اما چرا ناشران مجلات با یکدیگر وارد تعامل نشده و از دیتابیس تامسون رویترز برای محاسبه ایمپکت فاکتور خود استفاده نمی‌کنند؟ این ایده سال گذشته در جلسه‌ای در انجمن سلطنتی انگلستان مطرح شد. استیون کاری (زیست‌شناس سلولی در امپریال کالج لندن) می‌گوید: «متقاعد کردن افراد به این موضوع کار دشواری نبود و گروه اصلی طی ماه‌های آتی در این زمینه ائتلاف می‌کنند». یازده مجله‌ای که امروز در زمینه انتشار داده‌ها نقش دارند، عبارت‌اند از: Science، eLife، The EMBO Journal، the Journal of Informetrics، the Proceedings of the Royal Society B، سه مجله منتشر شده توسط کتابخانه عمومی علم و Nature و دو مجله دیگر. در سال‌های ۲۰۱۳ و ۲۰۱۴، این مجلات بیش از ۳۶۶۰۰۰ مقاله تحقیقاتی و ۱۳۰۰۰ مقاله مروری منتشر کردند. این تیم در سال ۲۰۱۵ متحد شدند و دیتابیس تامسون رویترز را برای شمارش تمام ارجاعات مورد استفاده در آن مقالات بررسی کردند. وینسنت لاریور، کارشناس ارجاعات مقاله در دانشگاه مونترال کانادا، تحلیل داده‌ها را بر عهده داشت.
نتایج به دست آمده از بررسی شمارش ارجاعات دیتابیس تامسون رویترز
نتایج به دست آمده به نفع منتقدان ایمپکت فاکتور مجلات بود. توزیع ارجاعات به حدی ناهمگن بود که حدود ۷۵ درصد مقالات موجود در مجله ارجاعات کمتری در مقایسه با ایمپکت فاکتور مجله دریافت کردند؛ بنابراین، استفاده از ایمپکت فاکتور مجله برای پیش‌بینی تأثیر مقاله‌ای خاص بر پایه حدس و گمان است. بررسی‌ها همچنین حاکی از خطاهای متعددی در دیتابیس تامسون رویترز بودند، زیرا برخی از ارجاعات ارتباطی با مقالات شناخته شده نداشتند. این تیم در مقاله‌ای ارسالی به bioRxiy اعلام کردند: «امیدواریم این بررسی ارزش اغراق‌آمیز نسبت داده شده به ایمپکت فاکتور مجلات را نشان دهد و افراد را متقاعد کند، ایمپکت فاکتور شاخص نامناسبی برای ارزیابی تحقیقات یا محققان است».
برند پولورر، ویراستار ارشد مجله The EMBO در هایدلبرگ آلمان، بیان کرد که گروه تحقیقاتی تحلیل‌های خود را به تامسون رویترز منتقل کرده است. وی در مصاحبه با Science Insider اعلام کرد، «این بحث بسیار سازنده بوده و تامسون رویترز نیز به ادامه این گفتگو تمایل نشان داده است؛ اگرچه آن‌ها تمام نکات کلیدی ارائه شده را پذیرفتند، ما قصد نداریم چیزی را تغییر دهیم و رتبه‌بندی مجلات را نابود کنیم، زیرا ایمپکت فاکتور اصلی‌ترین دارایی کسب‌وکار آن‌ها به شمار می‌رود».
جیمز پرینگل مدیر توسعه و نوآوری تامسون رویترز و IP & Science در فیلادلفیای پنسیلوانیا می‌گوید: «حق با نویسندگان است و ایمپکت فاکتور مجله باید به‌عنوان یک ابزار کمکی برای درک تأثیر یک مجله به کار رود. ایمپکت فاکتور نشانگر عملکرد ارجاعی مجله به‌عنوان یک واحد کلی است و نمی‌توان هر یک از مقالات یک مجله را به‌طور جداگانه با استفاده از آن، ارزیابی کرد. تیم ویراستاری تامسون رویترز در حال تلاش برای رفع خطاهای موجود در دیتابیس بوده و روش‌هایی را برای تقویت ارتباط آیتم‌ها ارائه داده است. این شرکت فرایندهای ساده‌ای را برای تصحیح گزارش‌ها به نویسندگان ارائه می‌دهد و از این طریق افراد را به استفاده از شناساگرهای استاندارد ترغیب می‌کند».
آیا انتشار این داده‌ها منجر به انقلاب خواهند شد؟ دیوید اسمیت، کارشناس انتشار در آکسفوردشایر انگلستان، این امر را غیرممکن قلمداد می‌کند. وی می‌گوید: «نتایج حاصل از تعداد محدودی از مجلات جالب بوده و ارزش بررسی بیشتر را دارد، اما ارزیابی نیازمند داده‌های ارجاع مجلات متعددی است». سؤالی که مطرح می‌شود، این است که آیا مجلات دارای ایمپکت فاکتور بالاتر ساختار استنادی متفاوتی دارند یا خیر؟ اسمیت بر این باور است که اگر داده‌های منتشر شده نشانگر کل جامعه علمی باشند، یک عدد نمی‌تواند ارزش تحقیقات محقق را نشان دهد. وی می‌گوید: «مشکل از ایمپکت فاکتور مجلات نیست، بلکه نحوه تفکر ما در مورد پیشرفت علمی است که به بررسی و تغییر نیاز دارد».
