AI thay đổi theo phiên bản là vấn đề mình gặp trực tiếp khi đang viết một bài nghiên cứu về giới hạn nhận thức của AI trong khoa học. Mình test cùng một câu hỏi phân loại trên GPT-4, Claude, và Gemini ở các thời điểm khác nhau. Kết quả khác nhau đáng kể, không phải vì câu hỏi thay đổi mà vì mô hình thay đổi.
Đây là vấn đề lớn hơn nhiều người nhận ra, đặc biệt với bác sĩ đang dùng AI trong quy trình nghiên cứu.
AI thay đổi theo phiên bản là gì?
Một mô hình AI được cập nhật hoặc thay thế bằng phiên bản mới, và kết quả đầu ra đổi theo ngay cả khi bạn dùng đúng một câu hỏi. Đây không phải lỗi kỹ thuật, mà là đặc điểm thiết kế. Mô hình mới thường được điều chỉnh thêm về định hướng, cập nhật dữ liệu huấn luyện, và thay đổi cách xử lý một số loại câu hỏi.
Với ứng dụng phổ thông như viết email hay tóm tắt văn bản, điều này không quan trọng lắm. Nhưng trong nghiên cứu khoa học, nơi khả năng tái lập là tiêu chí cốt lõi, đây là vấn đề có tính cấu trúc.
Mình thử nghiệm như thế nào?
Trong một bài preprint mình đang viết về rủi ro nhận thức khi dùng AI trong khoa học, mình thiết kế một thử nghiệm nhỏ: dùng cùng một câu hỏi phân loại có tính đúng sai rõ ràng, rồi test trên nhiều mô hình ở các thời điểm khác nhau trong giai đoạn 2023 đến 2025.
Kết quả là cùng một câu hỏi nhưng câu trả lời đổi khác giữa các mô hình và theo thời gian. Đây không phải thay đổi ngẫu nhiên, mà là thay đổi có hướng, phản ánh cách mỗi mô hình được điều chỉnh tại thời điểm đó.
Nói cách khác: nếu một bài báo năm 2024 dùng GPT-4 để phân loại dữ liệu, và một nhóm khác muốn tái lập nghiên cứu đó vào năm 2026 bằng phiên bản mới hơn, hai kết quả có thể không khớp kể cả khi họ dùng cùng câu hỏi.
Ba hệ quả cụ thể trong nghiên cứu
Hệ quả 1. Không thể tái lập đầy đủ. Nếu bạn đăng một nghiên cứu mà AI là bước xử lý dữ liệu trung gian, người khác không tái lập được kết quả đó khi họ dùng phiên bản AI khác. Đây là một dạng khủng hoảng tái lập mới nổi trong lĩnh vực nghiên cứu có dùng AI.
Hệ quả 2. Kết quả trôi dạt trong nghiên cứu dài hạn. Nếu bạn làm một nghiên cứu trải dài theo thời gian và dùng AI ở nhiều bước, kết quả giai đoạn sau có thể không so sánh được với giai đoạn trước vì mô hình đã cập nhật giữa chừng.
Hệ quả 3. Khó xác định nguồn gốc sai lệch. Nếu kết quả nghiên cứu có dùng AI của bạn khác với nhóm khác, không rõ sai lệch đến từ thiết kế nghiên cứu, từ dữ liệu, hay từ mô hình AI khác phiên bản.
Cách ghi chép phiên bản AI trong phần Phương pháp
Sau khi nhận ra vấn đề này, mình thay đổi ngay cách ghi phần Methods. Trong bất kỳ nghiên cứu nào có dùng AI, cần ghi đủ:
- Tên mô hình cụ thể (ví dụ GPT-4 Turbo, Claude 3.5 Sonnet, Gemini 1.5 Pro)
- Ngày truy cập hoặc mã phiên bản API (ví dụ gpt-4-1106-preview)
- Nhiệt độ và các thông số kiểm soát kết quả đầu ra
- Câu hỏi gốc chính xác, có thể đưa vào phần Phụ lục
Cách này không giải quyết được vấn đề tái lập hoàn toàn, vì kể cả khi ghi đầy đủ, bạn vẫn không chạy lại được đúng phiên bản đó vài năm sau. Nhưng nó cho phép người đọc đánh giá được sự chênh lệch nếu có, và đó là mức tối thiểu cần có.
Với workflow AI cho bác sĩ làm nghiên cứu, bước ghi chú phiên bản AI nên nằm trong quy trình từ đầu, không phải bổ sung vào lúc viết manuscript.
Điểm thực hành: cố định phiên bản mô hình
Một số nhóm nghiên cứu dùng giao diện lập trình (API) với phiên bản cố định để giữ kết quả ổn định trong giai đoạn thu thập dữ liệu. Ví dụ, OpenAI cung cấp các đầu nối như gpt-4-0613, giữ kết quả ổn định hơn so với đầu nối mặc định vốn được cập nhật liên tục.
Đây là cách tiếp cận thực tế hơn cho nghiên cứu so với dùng giao diện web thông thường, nhưng nó đòi hỏi bạn hiểu cơ bản về lập trình API.
Với systematic review, mình thấy quy trình sàng lọc AI cho systematic review cần được thiết kế với phiên bản mô hình cố định từ đầu nếu bạn muốn kết quả có thể đối chiếu được.
Coi AI như một thiết bị đo
AI không phải là hộp đen cố định. Nó thay đổi theo thời gian mà không thông báo cho bạn.
Nếu bạn dùng AI như một công cụ trong quy trình nghiên cứu, không chỉ để viết văn mà để phân loại, trích xuất, hay phân tích dữ liệu, hãy coi nó như một thiết bị đo lường. Mọi thiết bị đo lường đều cần được ghi chép phiên bản, ngày hiệu chuẩn, và giới hạn vận hành.
Khoá AI trong NCKH có module về tài liệu hoá và tái lập trong nghiên cứu có dùng AI, bao gồm mẫu ghi chép phiên bản AI cho phần Phương pháp.