Khi thiết kế nghiên cứu đã được chọn, nhiều nhà nghiên cứu cảm thấy nhẹ nhõm. Họ cho rằng phần tư duy khó khăn gần như đã xong. Tiếp theo có vẻ mang tính kỹ thuật — đo lường trong nghiên cứu.
Thực tế, đây là nơi một quyết định lặng lẽ hơn nhưng có hệ quả lớn hơn tiếp quản: định nghĩa biến, thu thập dữ liệu, chạy phân tích.
Thứ bạn chọn đo không chỉ xác định thứ bạn sẽ tìm thấy. Nó xác định thứ bạn sẽ không bao giờ thấy — bất kể cỡ mẫu lớn bao nhiêu hay thống kê phức tạp đến đâu.
Đo lường không trung lập
Đo lường thường được coi như công cụ trung lập. Huyết áp, xét nghiệm, khoảng cách trên hình ảnh, điểm khảo sát — những thứ này có vẻ khách quan, gần như máy móc. Nhưng mỗi phép đo là một quyết định về thứ gì được coi là thực tế trong nghiên cứu.
Khi bạn chọn một kết cục, bạn đang quyết định:
- khía cạnh nào của hiện tượng quan trọng
- sự biến thiên nào trở nên nhìn thấy được
- trải nghiệm nào được quy về con số
- chiều nào biến mất hoàn toàn
Những quyết định này hiếm khi được đóng khung theo cách này, nhưng chúng định hình ý nghĩa của nghiên cứu nhiều hơn hầu hết lựa chọn phân tích.
Hai nghiên cứu có thể xem xét cùng bệnh lý và đi đến kết luận rất khác nhau đơn giản vì chúng chọn đo những thứ khác nhau.
Khi hai nghiên cứu đo "thành công" khác nhau
Gần đây, mình tổng quan y văn về kết quả sau phẫu thuật tạo hình niệu đạo (hypospadias repair) để chuẩn bị cho một bài báo. Hai nghiên cứu xem xét cùng kỹ thuật, nhóm tuổi tương tự, và cỡ mẫu tương đương.
Nghiên cứu A định nghĩa thành công là: – lỗ rò niệu đạo (có/không) – hẹp lỗ tiểu cần nong (có/không) – phẫu thuật lại trong sáu tháng
Nghiên cứu B định nghĩa thành công là: – điểm thẩm mỹ – chất lượng tia tiểu (cha mẹ báo cáo) – khó chịu của trẻ khi tiểu – sự hài lòng của cha mẹ
Cả hai nghiên cứu đều vững về phương pháp. Cả hai đều tuyên bố nghiên cứu "kết quả phẫu thuật." Nhưng kết luận khác nhau. Nghiên cứu A kết luận kỹ thuật rất thành công. Nghiên cứu B đặt ra lo ngại về chức năng và thẩm mỹ.
Không nghiên cứu nào sai. Chúng đo các khía cạnh khác nhau của cùng hiện tượng. Việc chọn phép đo quyết định thứ gì được coi là thành công.
Proxy và sự mất mát ý nghĩa lặng lẽ
Trong nghiên cứu thực tế, chúng ta thường đo thứ sẵn có, không phải thứ chúng ta thực sự quan tâm.
Chất lượng cuộc sống trở thành điểm bảng hỏi. Mức độ nặng của bệnh trở thành giá trị xét nghiệm. Cải thiện lâm sàng trở thành thời gian nằm viện.
Những proxy này không sai — nhưng chúng là xấp xỉ. Và mỗi xấp xỉ mất đi thứ gì đó.
Vấn đề phát sinh khi chúng ta quên mất thứ đã mất. Lúc đó, proxy lặng lẽ thay thế chính khái niệm.
Bài học từ luận văn: đo một lát cắt như thể nó là toàn bộ
Luận văn của mình xem xét phương pháp hình ảnh để phân loại dị tật hậu môn trực tràng (ARM) nhằm hướng dẫn kế hoạch phẫu thuật.
Phép đo thuận tiện nhất là khoảng cách cơ nâng hậu môn-trực tràng (PR distance) trên siêu âm. Nó được chuẩn hóa, định lượng được, và dễ trích xuất hồi cứu.
PR distance có vẻ lý tưởng.
Nhưng nó chỉ nắm bắt một chiều của dị tật ba chiều.
Một trẻ có thể có PR distance "bình thường" nhưng vẫn có giải phẫu lỗ rò bất lợi. Trẻ khác có thể gần ngưỡng cutoff nhưng có cơ phát triển tốt và phẫu thuật tương đối đơn giản.
Mình không đo dị tật hậu môn trực tràng. Mình đo một lát cắt của nó — và lặng lẽ coi lát cắt đó là toàn bộ.
Khi thầy hướng dẫn hỏi liệu siêu âm đơn thuần có đủ cho kế hoạch phẫu thuật không, mình nhận ra mình không thể trả lời. Mình đã nhầm lẫn một phép đo với hiểu biết giải phẫu hoàn chỉnh.
Giải pháp không phải bỏ PR distance. Mà là nhận ra giới hạn của nó và bổ sung bằng những phát hiện khác: giải phẫu lỗ rò, phát triển cơ, tỷ lệ xương cùng.
Kết hợp lại, những phép đo này kể một câu chuyện có ý nghĩa. Riêng lẻ, mỗi phép đo chỉ kể một phần.
Khi kết cục được chọn quá muộn
Một lỗi quy trình phổ biến là coi kết cục như chi tiết phụ.
Thiết kế được chọn trước. Tính sẵn có của dữ liệu được xác nhận. Rồi mới hỏi đo gì.
Đến lúc đó, kết cục thường bị ràng buộc bởi sự thuận tiện thay vì sự phù hợp.
Ban đầu mình đóng khung câu hỏi quanh thứ dễ trích xuất nhất: "PR distance có dự đoán loại phẫu thuật không?"
Thứ mình thực sự quan tâm lại khác: "Phát hiện hình ảnh nào giúp phẫu thuật viên lập kế hoạch mổ?"
Khi mình đảo ngược thứ tự — bắt đầu từ câu hỏi thực rồi hỏi cần đo gì — nghiên cứu trở nên khó thực hiện hơn, nhưng dễ diễn giải hơn nhiều.
Đo lường tạo ra điểm mù
Mỗi kết cục làm nổi bật một khía cạnh thực tế trong khi che khuất những khía cạnh khác.
Kết cục ngắn hạn che giấu tác động dài hạn. Chỉ số giải phẫu xóa trải nghiệm sống. Biến dễ định lượng gạt ra bên lề sự phức tạp.
Những điểm mù này không phải sai lầm. Chúng là cái giá của việc chọn một cách nhìn thay vì cách nhìn khác.
Nguy hiểm nằm ở chỗ quên rằng những điểm mù này tồn tại.
Một bài tập mình giờ làm sớm là viết một danh sách đơn giản:
Nghiên cứu này có thể trả lời gì Nghiên cứu này không thể trả lời gì
Làm điều này trước khi thu thập dữ liệu ngăn diễn giải quá mức sau này — và làm phần discussion trung thực hơn, không phải yếu hơn.
Nghĩ về diễn giải trước khi đo lường
Trước khi hoàn thiện kết cục, giờ mình hỏi:
- Nếu kết quả không có sự khác biệt, điều đó thực sự có nghĩa gì?
- Nếu có sự khác biệt, kết luận nào vẫn không chính đáng?
- Những câu hỏi quan trọng nào vẫn chưa được trả lời dù thế nào?
Đôi khi mình dùng AI để stress-test suy nghĩ này — không phải để thiết kế phép đo, mà để bộc lộ giả định mình có thể bỏ qua khi làm việc một mình.
Bài tập ngắn đó thường cho thấy nơi mình đang coi proxy như thể nó là chính hiện tượng.
Đo lường là cam kết
Giống thiết kế nghiên cứu, đo lường là cam kết. Khi đã chọn, bạn cam kết với một cách hiểu hiện tượng — và bỏ qua các chiều khác, dù cố ý hay không.
Nhiều phê bình của reviewer thực ra không phải về thống kê. Chúng về ý nghĩa:
- Kết cục này có liên quan lâm sàng không?
- Nó có nắm bắt được điều thực sự quan trọng không?
- Bạn đang đo đúng thứ, hay chỉ đo thứ thuận tiện?
Những câu hỏi này không thể sửa trong lúc phân tích. Chúng được quyết định sớm hơn nhiều.
Tiếp theo là gì
Ngay cả với đo lường cẩn thận, một vấn đề khác vẫn còn.
Bias không chỉ xâm nhập trong phân tích. Nó xâm nhập qua ai được chọn, gì được ghi chép, và gì bị bỏ qua — rất lâu trước khi điểm dữ liệu đầu tiên được thu thập.
Đó là nơi nhiều nghiên cứu vốn cẩn thận lặng lẽ đi sai.
Và đó là nơi chúng ta chuyển sang tiếp theo.
Nếu bạn đang soạn bản thảo, bạn có thể thấy Checklist: Idea to Submission của mình hữu ích.