Theo tổ chức y tế thế giới (WHO) mục đích của quá trình chuẩn hóa một bộ công cụ nghiên cứu là bao gồm quá trình chuyển ngữ và điều chỉnh/thích ứng (adaptation) bộ công cụ, là đạt được một phiên bản ngôn ngữ khác từ bộ công cụ bằng tiếng Anh.
Trọng tâm của quá trình đó là giữ được nội dung thang đo, đảm bảo về cấu trúc ngôn ngữ, các khái niệm và các yếu tố văn hóa. Một bộ công cụ áp dụng tốt phải có độ tin cậy và giữ được tính tự nhiên và chấp nhận được bởi một cộng đồng.
Quy trình thực hiện chuẩn hóa một bộ công cụ gồm 4 bước:
1. Chuyển ngữ thang đo sang tiếng Việt
2. Một ban chuyên gia xem xét bản dịch và dịch ngược lại.
3. Làm khảo sát thử nghiệm và đánh giá quá trình phỏng vấn 4. Bản dịch hoàn thiện
Bước 1: Chuyển ngữ thang đo sang tiếng Việt
Thường do hai chuyên gia hoặc tác giả nghiên cứu thực hiện dịch độc lập. Họ phải có ngoại ngữ tiếng Anh và có nhiều hiểu biết về văn hóa đó. Phương cách tiếp cận bản dịch là nhấn mạnh tính văn hóa, ngôn ngữ tự nhiên nhất có thể để có bản dịch có thể được sử dụng rộng rãi. Chú ý cần được xem xét trong quá trình này:
Người dịch phải luôn hướng đến khái niệm tương đồng của một từ hoặc cụm từ, nên xem xét định nghĩa của thuật ngữ gốc và cố gắng dịch nó theo cách phù hợp nhất.
Người dịch phải dịch đơn giản, rõ ràng và súc tích câu chữ. Câu văn rõ ràng, đơn giản nhất có thể tránh câu dài, câu phức đa nghĩa.
Bước 2: Một ban chuyên gia xem xét bản dịch và dịch ngược lại.
Thường do chuyên gia có cả ngôn ngữ Anh và Việt Nam xem xét chỉnh sửa bản dịch xuôi: Xác định và thống nhất các khái niệm, vấn đề và các thuật ngữ dịch chưa chuẩn xác, cũng như bất kỳ sự khác biệt nào giữa bản dịch và các phiên bản hiện tại hoặc có thể so sánh trước đó, cũng như tìm các khái niệm, các lựa chọn thay thế. Số lượng chuyên gia trong ban tùy thuộc, nhưng phải bao gồm tác giả dịch gốc, chuyên gia về y, và chuyên gia có kinh nghiệm về phát triển công cụ và dịch thuật như ngôn ngữ, tâm lý. Dịch ngược: Sử dụng cách tiếp cận tương tự như bước một, thang đo sẽ được dịch ngược lại sang tiếng Anh bởi một dịch giả độc lập, có tiếng mẹ đẻ là tiếng Anh hoặc (hiểu biết rõ về văn hóa bản địa) và không có kiến thức về lĩnh vực liên quan thang đo. Nếu có sự khác biệt thì sẽ có buổi thảo luận với ban chuyên gia để đạt được một kết luận thống nhất, một thang đo hoàn chỉnh.
Bước 3: Làm khảo sát thử nghiệm và đánh giá quá trình phỏng vấn
Phỏng vấn một mẫu dân số nhất định là cần thiết để đánh giá thang đo về qúa trình dịch thuật và để điều chỉnh, sửa đổi chi tiết. Mỗi trắc nghiệm/ cụm trắc nghiệm nên phỏng vấn tối thiểu 10 người, gồm cả hai giới, các nhóm tuổi, đa dạng về thành phần kinh tế xã hội khác nhau. Và có những chú ý khi thực hiện phỏng vấn như:
cách đặt câu hỏi, có vấn đề gì tế nhị gây khó chịu cho người bệnh, người phỏng vấn có kinh nghiệm… Trong phần này sẽ thực hiện đánh giá tính giá trị và độ tin cậy của thang đo.
Bước 4: Bản dịch hoàn thiện
Sau khi thực hiện các bước trên tác giả của nghiên cứu sẽ tập hợp, chỉnh sửa lại theo các ý kiến góp ý để hoàn thiện thang đo.
1.3.2. Các nguyên tắc cơ bản của quá trình chuẩn hóa thang đo.
Trong các nghiên cứu về chuẩn hóa công cụ các câu hỏi về chuẩn hóa đặt ra khi nghiên cứu:
- Giá trị nội dung (Content validity): Thang đo này nội dung có bao phủ được các vấn đề cần nghiên cứu không?
- Giá trị cấu trúc (Construct validity): tập trung vào vấn đề chuyển ngữ, những vấn
đề chú ý trong này là các lý thuyết rõ ràng, có hội đồng chuyên gia xây dựng và tuân theo những quy trình chuẩn.
Độ tin cậy về tính ổn định bên trong cấu trúc thang đo:
- Độ tin cậy cao khi chỉ số Cronback ’s alpha > 0,7;
- Tương quan cao với các lĩnh vực khác khi chỉ số Cronback ’s alpha > 0,4;
- Chỉ số Cronback ’s alpha < 0,4: không có tính tương quan giữa các lĩnh vực bên trong thang đo.
Độ tin cậy và tính giá trị là hai vấn đề cốt lõi và độc lập khi chuẩn hóa một thang đo. Tính giá trị thường coi là mức độ chính xác thì độ tin cậy là khả năng đúng cao nhất.
* Tính giá trị (Validity) của thang đo:
Tính giá trị là mức độ mà một thang đo ngôn ngữ có khả năng đo lường cái mà nó dự định đo lường. Một nghiên cứu có giá trị nếu các kết quả của nó tương ứng với sự thật: nghiên cứu không được có sai số hệ thống, và sai số ngẫu nhiên càng nhỏ càng tốt.
- Giá trị nội dung (content validity): Giá trị nội dung là các trắc nghiệm của thang đo đó được trình bày như thế nào, sự bao phủ vấn đề nghiên cứu. Khi thiết kế nội dung thang đo ngôn ngữ thì cấu trúc nội dung, sự liên kết phải đảm bảo phù hợp với các lĩnh vực ngôn ngữ. Đồng thời cũng xem xét về tính toàn diện và phù hợp cho mỗi độ tuổi.
- Giá trị cấu trúc (construct validity): Giá trị cấu trúc là đánh giá liệu rằng thang đo có đo lường được những gì nó dự định đo lường hay không. Xem xét các trắc nghiệm cụ thể về cấu trúc, mối tương quan với các trắc nghiệm khác, các nhóm nghiên cứu khác nhau và tác động của can thiệp lên điểm số như thế nào. Để đánh giá tính giá trị về cấu trúc của thang đo thường sử dụng phương pháp phân tích yếu tố khẳng định (CFA) với thang đo chuyển ngữ và chỉnh sửa. Với thang đo xây dựng mới thường sử dụng phương pháp phân tích yếu tố thăm dò (EFA).
- Giá trị tiêu chuẩn (criterion validity): Các câu hỏi trắc nghiệm khi đánh giá theo mốc tuổi thì có phù hợp hay không, có sự phân biệt giữa các nhóm khác nhau
hay không, điểm số thể hiện như thế nào. Đánh giá sử dụng độ nhạy (sensitivity) và độ đặc hiệu (specificity).
- Giá trị bề mặt (face validity): Không có chỉ số đánh giá nhưng rất hữu ích trong chuẩn hóa thang đo. Thông thường khi xây dựng một bộ công cụ mới thì cần đánh giá đầy đủ các giá trị trên [39][40][41][42].
Đường cong ROC: Từ ROC (Receiver Operating Characteristic) bắt nguồn từ lĩnh vực vật lý được gọi là thuyết phát hiện tín hiệu (Signal detection theory). Từ sau những năm 1970, thuyết phát hiện tín hiệu này dược dùng để diễn dịch kết quả các test trong chẩn đoán y học. Mỗi điểm trên đường cong ROC là tọa độ tương ứng với tần suất dương tính thật (độ nhạy) trên trục tung và tần suất dương tính giả (1-độ đặc hiệu) trên trục hoành. Đường biểu diễn càng lệch về phía bên trên và bên trái thì sự phân biệt giữa 2 trạng thái (ví dụ có bệnh hoặc không bệnh) càng rõ. Độ chính xác (accuracy) được đo lường bằng diện tích dưới đường cong ROC. Nếu diện tích bằng 1 là test rất tốt và nếu bằng 0,5 thì test không có giá trị. Xác định đơn giản mức độ chính xác của test chẩn đoán dựa vào hệ thống điểm:
0,80 - 0,90 = tốt (A)
0,60 - 0,70 = tạm được (B) 0,50 - 0,60 = không giá trị (C)
Trong các thang đo chẩn đoán bệnh, đường cong ROC được dùng để tìm điểm ngưỡng chẩn đoán (cut - off) của các biến định lượng có giá trị phân biệt hai trạng thái bệnh và không bệnh tốt nhất, có nghĩa là tìm ngưỡng (threshold) có độ nhạy và độ đặc hiệu cao nhất [44][45][46][47].
* Về độ tin cậy: Một bộ công cụ là đáng tin cậy nếu các phép đo của nó phù hợp và chính xác hoặc gần “giá trị đúng” nhất. Độ tin cậy là các giá trị quan sát được. Đó là giá trị đúng và lỗi đo lường, các lỗi có trị số càng thấp thì độ tin cậy càng cao và ngược lại. Có nhiều cách đo lường độ tin cậy như chỉ số tương quan Pearson, Kappa.
Độ tin cậy kiểm tra lại (test-retest): là thước đo sử dụng để thể hiện mức độ ổn định của điểm kiểm tra theo thời gian, đánh giá sự đáp ứng với hai thời điểm khảo
sát khác nhau. Độ tin cậy được đo bằng sự tương quan điểm số giữa hai lần đánh giá này. Sự tương quan càng cao thì độ ổn định của thang đo càng lớn.
Độ ổn định trong (internal consistency): Một phương pháp đo độ ổn định bên trong rất phổ biến hiện nay là bằng hệ số Cronback’s alpha. Độ tin cậy phụ thuộc vào số lượng trắc nghiệm trong thang đo. Nếu thang đo có dưới 10 trắc nghiệm thì hệ số tương quan trong chỉ đạt 0,2 và độ tin cậy là 0,714. Tuy nhiên khi thang đo có số lượng trắc nghiệm trên 20 trở lên thì độ tin cậy sẽ đảm bảo hơn.
Độ tin cậy về sự thống nhất khi đánh giá (agreement reliability): thường dùng khi một thang đo có hai người trở lên cùng thực hiện, dùng chỉ số Weighted Kappa để đo lường, kết quả chỉ số > 0,75 là rất tốt; > 0,4 là khá. [43][47][48].
1.4. TỔNG QUAN SÀNG LỌC RỐI LOẠN NGÔN NGỮ Ở TRẺ EM