Sai lầm tốn kém nhất trong nghiên cứu lâm sàng là phát hiện ra một lỗi phương pháp chí mạng sau khi đã thu thập dữ liệu xong. Lúc đó, không có phép thuật thống kê hay hiệu chỉnh post-hoc nào cứu nổi nghiên cứu. Bạn mắc kẹt với việc viết phần Discussion như một lời xin lỗi cho một thiết kế vốn đã hỏng từ gốc, biết rõ rằng bài báo sẽ bị reject hết lần này đến lần khác.
Trong lĩnh vực phần mềm và an ninh mạng, người ta dùng một phương pháp gọi là "red-teaming." Red team là một nhóm chuyên gia độc lập được giao nhiệm vụ tấn công hệ thống để phơi bày lỗ hổng trước khi hệ thống được triển khai ra ngoài.
Trong nghiên cứu lâm sàng, red team của chúng ta thường là Reviewer 2. Vấn đề là Reviewer 2 xuất hiện muộn mất một năm.
Bạn cần một red team trước cả khi nộp protocol cho Hội đồng đạo đức (IRB). May mắn là bạn có thể dùng Large Language Models — cụ thể là Claude 3 — để red-team thiết kế nghiên cứu của mình.
Nguy cơ của thiên lệch lạc quan (Optimism Bias)
Khi bạn thiết kế một nghiên cứu, bạn mặc nhiên mắc phải thiên lệch lạc quan. Bạn hào hứng với giả thuyết. Bạn cho rằng bệnh nhân sẽ tham gia đúng tốc độ dự kiến, tỷ lệ theo dõi sẽ gần 100%, và các biến gây nhiễu sẽ tự phân bố đều giữa các nhóm như có phép màu.
Vì chính bạn xây dựng logic của nghiên cứu, não bạn được lập trình để bảo vệ nó, chứ không phải để phá vỡ nó. Bạn cần một góc nhìn đối kháng để phá tan sự lạc quan đó và phơi bày những điểm yếu cấu trúc trong protocol.
LLMs, đặc biệt là Claude 3 của Anthropic (được tối ưu hóa mạnh cho lập luận logic, sắc thái, và phân tích cấu trúc), rất giỏi trong tư duy đối kháng nếu được prompt đúng cách. Không giống các mô hình AI trước đây hay mắc bệnh "nịnh" — tức là được train để lịch sự và khen ý tưởng của bạn là tuyệt vời — Claude có thể được hướng dẫn để phê bình một cách gay gắt.
Xây dựng Red-Team Prompt
Sau khi bạn đã soạn xong bản protocol ban đầu (bao gồm PICO framework, phương pháp đề xuất, tiêu chí chọn mẫu, và endpoint chính), đừng chỉ yêu cầu Claude "review" nó. Yêu cầu review sẽ chỉ nhận được những gợi ý lịch sự. Hãy yêu cầu nó phá hủy protocol.
Đây là framework prompt chính xác mà mình dùng để red-team protocol:
"Hãy đóng vai một reviewer thống kê và phương pháp luận đối kháng, cực kỳ khắt khe, cho một tạp chí y khoa hàng đầu (ví dụ: The Lancet, JAMA). Tôi sẽ cung cấp thiết kế nghiên cứu và protocol đề xuất. Nhiệm vụ của bạn là red-team protocol này.
Tôi không cần lời khen. Tôi muốn bạn chỉ ra tất cả các lỗi phương pháp tiềm ẩn, biến gây nhiễu chưa được kiểm soát, sai lệch chọn mẫu, và sai số đo lường. Hãy chỉ ra chính xác tại sao thiết kế nghiên cứu này có thể thất bại trong thực tế hoặc bị reject khi peer review.
Cấu trúc phê bình như sau:
- Lỗi chí mạng (Fatal Flaws): Những vấn đề đảm bảo bị reject.
- Biến gây nhiễu (Confounding Variables): Những biến nào tôi chưa kiểm soát?
- Rủi ro vận hành (Operational Risks): Nghiên cứu sẽ thất bại ở đâu trong quá trình thu thập dữ liệu thực tế?
Hãy cho tôi phê bình tàn nhẫn nhất."
Tổng hợp phê bình: Một ví dụ minh họa
Giả sử bạn nộp một protocol cho nghiên cứu hồi cứu dạng cohort, so sánh kỹ thuật phẫu thuật mới với kỹ thuật truyền thống. Bạn đưa nó vào Claude với prompt ở trên.
Khi Claude trả về phê bình, hãy đọc nó với cái tôi được gác lại ngoài cửa. Nó sẽ chỉ ra những vấn đề mà bạn thực sự đã bỏ sót:
- Sai lệch chọn mẫu (Confounding by Indication): "Bạn đang so sánh hai kỹ thuật một cách hồi cứu, nhưng bạn không có cơ chế kiểm soát sai lệch chọn mẫu. Phẫu thuật viên có thể đã chọn kỹ thuật mới cho bệnh nhân khỏe hơn và kỹ thuật truyền thống cho ca phức tạp. Nếu không có propensity score matching, kết quả sẽ bị lệch không thể sửa được."
- Sai số đo lường (Measurement Error): "Endpoint chính dựa vào điểm đau do bệnh nhân tự báo cáo từ hồ sơ bệnh án. Điểm đau hồi cứu nổi tiếng là không đáng tin cậy và ghi chép kém. Endpoint này quá mong manh cho một kết cục chính."
Claude cũng có thể hallucinate hoặc đưa ra những lo ngại không phù hợp về mặt lâm sàng trong bối cảnh cụ thể của bạn. Việc của bạn không phải là chấp nhận mù quáng mọi phê bình, mà là dùng chúng như một bài test stress nghiêm ngặt. Nếu Claude chỉ ra một bias, hãy tự hỏi: Liệu một reviewer con người có thể đưa ra đúng lập luận này không? Nếu câu trả lời là có, bạn phải sửa nó ngay.
Sửa lỗi khi chi phí còn bằng không
Cái hay của red-teaming với AI là nó xảy ra khi nghiên cứu mới chỉ tồn tại trên giấy.
Sửa một biến gây nhiễu trong file Word — bằng cách thêm propensity score matching vào kế hoạch thống kê hoặc siết chặt tiêu chí loại trừ — mất mười phút. Sửa cùng biến gây nhiễu đó sau khi bạn đã tuyển 100 bệnh nhân và mất sáu tháng thu thập dữ liệu thì bất khả thi.
Bằng cách mời phê bình khắc nghiệt nhất từ sớm, bạn đảm bảo rằng khi bài báo thực sự đến tay Reviewer 2, bạn đã lường trước được các phản bác và xây dựng phòng tuyến trực tiếp vào phương pháp nghiên cứu.
Công cụ được đề cập trong bài viết bao gồm Claude.
Nếu bạn quan tâm đến việc ứng dụng AI để tối ưu hoá quy trình viết bản thảo, mời bạn tham khảo khoá AI trong Nghiên cứu: Quy trình Thực chiến.