Đánh giá tầm ảnh hưởng và uy danh của một tập san khoa học càng ngày càng trở thành đề tài … nóng. Trước đây (và cho đến ngày nay), nhiều đại học và trung tâm nghiên cứu vẫn dựa vào chỉ số ảnh hưởng (impact factor – IF) để đánh giá chất lượng một tập san. Dù chỉ số này bị phê phán rất nhiều, nhưng trong thực tế thì nó không phải vô dụng như nhiều người tưởng. Gần đây, có một phát kiến mới để đánh giá tầm ảnh hưởng của một tập san: đó là chỉ số eigenfactor (viết tắt là EF). Theo tôi, đây là một phát kiến hay và cần xem xét trong việc đánh giá khoa học nói chung.
Đánh giá tầm ảnh hưởng và uy tín của một tập san khoa học là việc làm cần thiết của cả hai nhóm người: giới quản lí khoa học và nhà khoa học. Đối với những người quản lí khoa học, họ muốn biết tiền tài trợ cho nghiên cứu có xứng đáng “đồng tiền bác gạo”, có đem lại hiệu quả hay không. Dĩ nhiên, “hiệu quả” ở đây có thể đo lường bằng nhiều tiêu chí. Tiêu chí đánh giá có thể là sản phẩm có thể ứng dụng ngay trong thực tế, là bằng sáng chế, hay bài báo khoa học. Phần lớn các nghiên cứu cơ bản, sản phẩm chính vẫn là những bài báo khoa học. Nhưng trong hàng vạn tập san khoa học, giới quản lí nếu không phải là người trong chuyên ngành hay thậm chí không phải là người làm khoa học thì làm sao có thể biết tập san nào có chất lượng cao hay thấp.
Chất lượng tập san có thể hiểu là tầm ảnh hưởng, và tầm ảnh hưởng của tập san là số lần trích dẫn. Một tập san công bố nhiều công trình khoa học mà không ai trích dẫn thì đó là tín hiệu cho thấy tập san có chất lượng thấp, và tầm ảnh hưởng cũng thấp. Một nhận định tương tự cho một bài báo khoa học. Một trong những chỉ số được tính toán từ số lần trích dẫn là chỉ số ảnh hưởng (impact factor hay IF). Trước đây (và cho đến nay) giới quản lí khoa học vẫn hay dựa vào chỉ số ảnh hưởng (IF) để đánh giá chất lượng một tập san khoa học. Ở Trung Quốc và nhiều đại học phương Tây, người ta thưởng cho nhà khoa học có bài công bố trên những tập san có IF cao. Tác giả nào có bài trên tập san có IF càng cao, thì tiền thưởng càng lớn.
Có thể giải thích IF qua một ví dụ như sau: nếu năm 2000 và 2001 tập san ABC công bố 100 bài báo, và trong năm 2002, 100 bài này được trích dẫn 2000 lần, thì IF năm 2002 của ABC được tính là 2000 / 100 = 20. Chỉ số IF rất khác biệt giữa các lĩnh vực khoa học, với những tập san ngành khoa học xã hội thường có IF thấp hơn các tập san khoa học tự nhiên và y sinh học. Do đó, IF chỉ có nghĩa trong mỗi chuyên ngành, chứ rất khó so sánh giữa các ngành. Tuy nhiên, đối với các tập san khoa học tổng quát như Sciencehay Nature thì IF được xem như là tiêu chuẩn vàng để các tập san khác so sánh.
Vấn đề lớn nhất của IF là chỉ số này chỉ phản ảnh tầm ảnh hưởng trong vòng 2 năm. Nhưng một số nghiên cứu gần đây cho thấy thời gian 2 năm có lẽ quá ngắn để đánh giá tầm ảnh hưởng; phần lớn các ngành khoa học, thời gian cần thiết để đánh giá là 5 năm. Nếu sau 5 năm mà vẫn chẳng có ai trích dẫn công trình nghiên cứu thì đó có lẽ là tín hiệu cho thấy nghiên cứu đó chẳng có ảnh hưởng gì (dĩ nhiên, không loại trừ vài trường hợp hiếm hoi có công trình đòi hỏi 20 năm sau mới được ghi nhận).
Vấn đề thứ hai của IF là cách tính số lần trích dẫn không xem xét đến “uy danh” của tập san trích dẫn. Để hiểu vấn đề, chúng ta thử so sánh 2 tập san như sau:
Tập san A công bố 50 bài, và nhận được 90 lần trích dẫn từ những tập san danh tiếng (như Science, Nature, PNAS, Cell) và 10 lần trích dẫn từ những tập san từ China;
Tập san B cũng công bố 50 bài, và nhận được 10 lần trích dẫn từ những tập san danh tiếng, và 90 lần trích dẫn từ những tập san từ China.
Theo cách tính chỉ số IF thì hai tập san trên có IF như nhau (100 / 50 = 2). Nhưng nếu nhìn kĩ, chúng ta thấy tập san A chắc phải có uy danh cao hơn tập san B, vì A được nhiều tập san danh tiếng trích dẫn hơn tập san B.
Eigenfactor
Để khắc phục những yếu điểm đó của IF, hai nhà khoa học Mĩ Jevin West và Carl Bergstrom (ĐH Washington) đề xuất một chỉ số mới để đánh giá tầm ảnh hưởng của một tập san. Họ gọi đó là chỉ số Eigenfactor (EF). Chỉ số EF vẫn dựa vào số lần trích dẫn, nhưng là số lần trích dẫn trong 5 năm (chứ không phải 2 năm như IF). Như có lần đề cập trước đây, thời gian 5 năm là lí tưởng để đánh giá tầm ảnh hưởng của một công trình khoa học. Hệ số tương quan giữa số lần trích dẫn trong vòng 5 năm và tổng số lần trích dẫn là khoảng 0.81-0.91 cho ngành y sinh học, 0.85 cho hoá học, 9.75 cho toán học, 0.87 cho vật lí, và 0.79 cho khoa học xã hội.
Ngoài ra, EF còn cho trọng số của những tập san trích dẫn, và do đó, khắc phục một yếu điểm quan trọng của IF. Triết lí của EF cũng giống giống như triết lí tell me who your friends are and I will tell you who you are (có thể hiểu nôm nà là: nói cho tôi biết bạn của bạn là ai thì tôi sẽ cho biết bạn là người như thế nào). Nếu tập san công bố những bài báo được các tập san danh tiếng khác trích dẫn thì đó là một tín hiệu cho thấy tập san thuộc vào đẳng cấp cao.
Jevin West và Carl Bergstrom còn đề xuất một chỉ số khác có tên là Article Influence (AI). Chỉ số AI đo lường tầm ảnh hưởng của những bài báo trong tập san. AI được tính bằng cách lấy EF chia cho số bài báo tập san công bố và chuẩn hoá cho sao cho AI trung bình là 1. Nói cách khác, nếu một tập san có AI bằng 0.1 thì tập san đó có tầm ảnh hưởng thấp hơn trung bình (là 1), nhưng nếu tập san có AI 1.2 thì tầm ảnh hưởng của tập san đó cao hơn trung bình 20%.
Ngày nay, chỉ số EF và AI càng ngày càng phổ biến. Ngay cả Thomson ISI cũng sử dụng hai chỉ số này để xếp hạng các tập san khoa học. Tuần vừa qua, người viết bài này có dịp thảo luận với một số đồng nghiệp từ các đại học bên Mĩ và Úc, và cả đại diện ISI, và biết rằng trong tương lai gần, có lẽ ISI sẽ đưa EF và AI chính thức làm chỉ số đánh giá uy tín và tầm ảnh hưởng của tập san, và cũng là một cách thay thế chỉ số IF.
Các nhà khoa học phát kiến chỉ số EF và AI còn lập ra một website để tất cả chúng ta có thể tra cứu từng tập san. Địa chỉ trang web là http://eigenfactor.org. Tôi thử tra cứu một số tập san trong nhóm nội tiết thì thấy 10 tập san hàng đầu như sau:
| Hạng / Tập san | EF | AI |
| 1 J Clin Endocrinol Metab | 0.128 | 2.00 |
| 2 Diabetes Care | 0.114 | 2.44 |
| 3 Diabetes | 0.104 | 2.92 |
| 4 Endocrinology | 0.086 | 1.50 |
| 5 Cell Metab | 0.071 | 8.61 |
| 6 Diabetologia | 0.059 | 2.20 |
| 7 Free Radical Bio Med | 0.053 | 1.58 |
| 8 Obesity | 0.053 | 1.59 |
| 9 J Bone Miner Res | 0.048 | 2.25 |
| 10 Am J Physiol Endo Metab | 0.048 | 1.59 |
| Tập san | EF | AI |
| Science | 1.412 (100) | 17.52 (100) |
| Nature | 1.655 (100) | 20.37 (100) |
| PNAS | 1.601 (100) | 4.90 (100) |
| Nature Genetics | 0.329 (100) | 17.58 (100) |
| JAMA | 0.286 (100) | 13.11 (100) |
| Lancet | 0.361 (100) | 13.61 (100) |
| New Engl J Med | 0.664 (100) | 21.30 (100) |
| Ann Int Med | 0.121 (99) | 7.91 (99) |
| Bone | 0.040 (96) | 1.42 (89) |
| Osteoporosis Int | 0.029 (94) | 1.50 (90) |
| Arch Int Med | 0.107 (99) | 4.76 (99) |
Tập san khác
Ghi chú: Số trong ngoặc là thứ hạng tính trên phần trăm. Chẳng hạn như Science có EF là 1.412, đứng hàng top 100 các tập san về khoa học tổng quát, còn Bone có EF 0.04, đứng hạng top 4% trong lĩnh vực loãng xương.
Tuy chỉ số EF đang được giới nghiên cứu về đánh giá khoa học chú ý, nhưng tôi vẫn thấy không thoải mái với chỉ số này. Lí do đơn giản là vì rất khó kiểm tra giả định đằng sau cách tính toán. Ngoài ra, phương pháp tính toán cũng rất phức tạp, mà có người cho là "black box" (hộp đen), nên rất khó hiểu chính xác chỉ số EF có nghĩa thật là gì. Chúng ta có thể hiểu ý nghĩa chung và có thể so sánh qua EF, nhưng chúng ta không rõ nó có ý nghĩa thật là gì. Tuy nhiên, một phân tích gần đây cho thấy chỉ số EF có tương quan rất cao với IF (hệ số tương quan là 0.93). Do đó, dù EF có cải tiến về mặt lí thuyết, nhưng trong thực tế thì chẳng khác mấy so với IF. Trong trường hợp này, có thể nói rằng chỉ số IF (dù bị chỉ trích và phê phán rất nhiều) vẫn có giá trị thực tế của nó và rất dễ hiểu! Có lẽ phương pháp Eigenfactor cung cấp cho chúng một cách đánh giá khách quan hơn là dựa vào cả hai IF và AI để xếp hạng tập san khoa học.
Tham khảo:
Có thể tìm IF của tập san tại địa chỉ sau đây:
Bergstrom CT, West JD, Wiseman MA. The Eigenfactor™ Metrics. Journal of Neuroscience 2008;28: 11433–11434.
Fersht A. The most influential journals: Impact Factor and Eigenfactor. PNAS 2009; 106:6883-4
Davis PM. Eigenfactor: Does the principle of repeated improvement result in better estimates than raw citation counts? J Am Soc Info Sci Tech 2008;59:2186–2188
Moving from impact to influence: measurement and the changing role of medical journals. Eur Heart J 2012 33 (23) 2892-2896
What does the future hold for Cardiovascular Research? Cardiovasc Res 2013 97 (1) 1-3
0 nhận xét:
Post a Comment