Xem mẫu
- Thời gian cần thiết để đánh giá một
công trình khoa học
Scientometrics mới có một bài phân tích rất thú vị (1), vì kết quả phân tích này có thể
trả lời câu hỏi: cần bao lâu để đánh giá một công trình nghiên cứu khoa học? Trả lời
được câu hỏi này cũng quan trọng, vì các cơ quan cấp tài trợ và hội đồng khoa học có
thể căn cứ vào đó mà đánh giá chất lượng nghiên cứu khoa học của một cá nhân.
Thử tưởng tượng có hai người đang xin đề bạt chức danh [ví dụ như] assistant
professor. Cả hai đều có những công trình công bố trên các tập san tốt, nhưng chỉ số
trích dẫn thì còn thấp. Hai ứng viên lí giải rằng vì họ mới lấy PhD 5 năm nên chưa có
đủ thời gian cho trích dẫn, và rất không công bằng nếu đánh giá thành tích của họ dựa
trên chỉ số trích dẫn. Lí giải này hợp lí không? Thời gian cần thiết để đánh giá một bài
báo khoa học là bao lâu? Đó cũng là câu hỏi mà Viện Garvan chúng tôi đang thảo
luận, và tôi được giao nhiệm vụ đi tìm câu trả lời.
Có lẽ ai cũng đồng ý rằng trong hoạt động nghiên cứu khoa học, chất lượng cũng quan
trọng như (hay thậm chí hơn) số lượng. Một cá nhân có thể công bố rất nhiều bài báo
- khoa học, nhưng chất lượng thấp thì không thể xem tương đương với một cá nhân
công bố ít bài nhưng toàn những bài “nặng kí”. Chỉ cần vài bài trên New England
Journal of Medicine, JAMA, Lancet, Nature, Science, PNAS, Cell cũng xứng đáng
hàng trăm bài trên Medical Journal of Australia (MJA)!
Nhưng làm sao đo lường được chất lượng là một câu hỏi khó có câu trả lời dứt khoát.
Chất lượng nghiên cứu là một khái niệm trừu tượng. Hay nói theo ngôn ngữ khoa học
xã hội, chất lượng là một latent construct. Đã là latent thì nó rất khó mà cân đo đong
đếm được. Thoạt đầu, người ta lấy tập san ra làm một thước đo, với hàm ý nói một bài
trên JAMA có chất lượng hơn một bài trên MJA. Tại sao như thế? Tại vì JAMA có hệ
số ảnh hưởng (impact factor – IF) cao hơn MJA. Do đó, hiểu theo cách đánh giá
này, IF là một thước đo về chất lượng.
Nhưng IF có vấn đề, vì nó phản ảnh uy tín của một tập san chứ không phải một công
trình khoa học. Trong thực tế có những công trình công bố trên tập san xoàng (hiểu
theo nghĩa IF thấp) nhưng được trích dẫn rất nhiều; ngược lại có những công trình
trên Science nhưng ít ai trích dẫn hay thậm chí sai. Do đó, hầu hết giới khoa học đồng
ý rằng số lần trích dẫn (citation) là một thước đo khách quan để đánh giá chất lượng
một công trình nghiên cứu khoa học.
Nhưng số lần trích dẫn phụ thuộc vào thời gian và chuyên ngành (hay thậm chí văn
hoá ngành). Một công trình sau khi công bố đòi hỏi thời gian để đồng nghiệp xem xét
và trích dẫn. Ngoài ra, có những ngành “nóng” (như miễn dịch học, di truyền học
chẳng hạn) thì ngay sau khi công bố đã có người trích dẫn ngay. Như công trình
nghiên cứu về gen FTO, chỉ sau 6 tháng công bố trên Science đã có trên 50 người
khác trích dẫn (cho đến nay, sau 5 năm công bố, bài báo này đã được trích dẫn 1439
lần). Nhưng có những ngành như toán học thì tần số trích dẫn chẳng những thấp mà
thời gian cần để trích dẫn cũng lâu hơn các ngành thực nghiệm khác.
Do đó, câu hỏi đặt ra là thời gian [tính từ lúc công bố] cần thiết để có một đánh giá
tương đối khách quan về tần số trích dẫn. Chúng ta biết rằng có những công trình kinh
điển (như DNA của Watson và Crick), sau khi công bố dù cả mấy chục năm, mà vẫn
còn được trích dẫn. Nhưng cũng có công trình chỉ được trích dẫn khi chủ đề còn
“nóng” hoặc khi tác giả của nó còn … sống. Lại có những công trình không bao giờ
được trích dẫn. Thật ra, con số công trình không bao giờ được trích dẫn có thể lên đến
50%. Vì thế, trả lời được câu hỏi về thời gian trích dẫn tối ưu là rất có ích.
Scientometrics mới công bố một phân tích (1) nhằm trả lời câu hỏi đó. Tác giả bài này
truy tìm tất cả 746,460 bài báo đăng trên các tập san có trong danh mục của ISI (Web
of Science) trong năm 1980. Sau đó, tác giả tìm tất cả trích dẫn cho những bài báo đó
từ 1980 đến 2010 (tức 30 năm). Sau đó, tác giả này làm như sau: (a) mỗi một bài báo,
tác giả tính tổng số lần trích dẫn trong 30 năm theo dõi; (b) sau đó, tính số lần trích
- dẫn trong vòng 1, 2, 3, 4, 5 năm, v.v.; (c) kế đến tác giả tính hệ số tương quan giữa số
lần trích dẫn từng giai đoạn và tổng số lần trích dẫn. Nói cách khác, tác giả có 30 hệ
số tương quan (r1, r2, r3, r4, … r30) để đo lường độ tương quan giữa số lần trích dẫn
mỗi giai đoạn và tổng số lần trích dẫn. Tác giả lấy cái mốc rt > 0.8 là phản ảnh độ
tương quan cao, và do đó lấy tlàm thời điểm cần thiết để đánh giá chất lượng một
công trình khoa học. Dĩ nhiên, phân tích này phải chia theo nhóm ngành khoa học.
Kết quả cho thấy thời gian và hệ số tương quan dao động khá lớn giữa các ngành khoa
học. Bảng sau đây (chỉ là trích dẫn một phần của bảng 3 trong bài báo) cho thấy nếu
lấy r = 0.80 là chỉ số “đáng tin cậy” để đánh giá thì thời gian 4 hoặc 5 năm có lẽ là
thích hợp nhất cho đa số các ngành.
Hệ số tương quan giữa số lần trích dẫn trong từng năm và tổng số lần trích dẫn
Ngành 1 2n 3n 4n 5n 6n 7n 8n 10 n
năm
Sinh học .174 .464 .656 .752 .810 .848 .874 .893 .918
Y sinh .295 .657 .812 .873 .906 .930 .943 .953 .966
Hoá .229 .547 .739 .811 .852 .881 .899 .914 .935
Y học lâm .258 .602 .767 .844 .886 .915 .930 .942 .957
sàng
KH trái đất .284 .622 .777 .851 .888 .910 .925 .937 .952
Kĩ thuật .203 .466 .636 .734 .792 .835 .861 .880 .906
Y tế .244 .488 .647 .741 .813 .861 .887 .908 .923
Nhân văn .199 .407 .541 .637 .711 .768 .804 .832 .869
Toán .171 .386 .571 .684 .750 .795 .826 .848 .883
Vật lí .307 .637 .777 .840 .873 .898 .914 .927 .945
Tâm lí .234 .534 .707 .802 .858 .892 .915 .930 .949
KH xã hội .227 .486 .636 .731 .792 .834 .864 .884 .914
Nguồn: Bảng số 3 trong (1).
- Tuy nhiên, như đoán trước được, thời gian này khác biệt giữa các ngành khoa học
thực nghiệm và lí thuyết. Chẳng hạn như trong ngành y sinh học (biomedical research)
số lần trích dẫn trong vòng 3 năm có độ tương quan với tổng số lần trích dẫn trong 30
năm là 0.812. Như vậy, đối với y học lâm sàng, chỉ cần 3 năm là có thể đánh giá
được chất lượng một công trình nghiên cứu. Nhưng các công trình ngành hoá, y học
lâm sàng, khoa học trái đất, vật lí, tâm lí học thì cần đến 4 năm. Ngành nhân văn có
thời gian cao nhất (7 năm) để đạt được hệ số tương quan >0.80.
Bài báo còn trình bày kết quả phân tích cho những công trình “top 10%”, tức những
công trình được trích dẫn nhiều nhất, nằm trong nhóm hàng đầu 10% tổng số bài báo
được trích dẫn. Theo kết quả này thì những bài top 10% cần đến 9 năm mới có hệ số
tương quan >0.80. Nói cách khác, để biết một công trình có ảnh hưởng lớn hay không
thì phải chờ đến 9 năm sau mới có thể đánh giá được.
Cũng như bất cứ phân tích nào, tôi nghĩ bài này đặt giả định là có mối liên hệ tuyến
tính giữa số lần trích dẫn. Khó nói giả định này đúng hay sai, nhưng có lẽ đối với số
lần trích dẫn thì giả định này không đến nổi quá xa rời thực tế. Một vấn đề chưa xem
xét đến trong bài phân tích là sự khác biệt giữa các chuyên ngành hẹp trong mỗi
ngành. Chẳng hạn như trong y khoa, chuyên ngành miễn dịch học thường có tần số
trích dẫn cao so với các chuyên ngành như nội tiết học, và do đó, nếu chỉ tính y sinh
học nói chung thì rất khó nói là chính xác hay khách quan được.
Cách chọn ngưỡng r = 0.8 cũng có thể tranh cãi. Nếu chọn r = 0.8, thì điều này có
nghĩa là chấp nhận giá trị này không thể giải thích được khoảng 36% tần số trích dẫn.
Con số 36% là tương đối cao. Nếu tôi là tác giả, tôi sẽ chọn ngưỡng r = 0.9 vì với
ngưỡng này, chúng ta có thể chấp nhận ~10% sai sót. Nếu chọn r = 0.9 thì thời gian
cần thiết để đánh giá chất lượng cho các ngành sẽ từ 5 năm trở lên. Đặc biệt trong
ngành nhân văn, khoa học xã hội, toán, kĩ thuật, có khi thời gian cần thiết là 9 năm trở
lên. Dĩ nhiên, một thời gian như thế quá dài, nên chắc chẳng nhà tài trợ nào có thể áp
dụng để đánh giá chất lượng khoa học.
Ngành Số năm
cần thiết
Sinh học 8
Y sinh 5
- Hoá 7
Y học lâm 6
sàng
KH trái đất 6
Kĩ thuật 10
Y tế 8
Nhân văn 12
Toán 12
Vật lí 6
Tâm lí 6
KH xã hội 9
Nhưng cân nhắc trên đây cho thấy tuy kết quả bài phân tích rất có ích, nhưng vẫn còn
tồn tại vài vấn đề tế nhị cần phải xem xét đến khi đánh giá một công trình khoa học.
Dù vậy, kết quả phân tích này có thể xem là một khung tham khảo cho các hội đồng
khoa học, các nhà tài trợ dựa vào đó để đánh giá chất lượng nghiên cứu.
nguon tai.lieu . vn