Το AI είναι εξίσου καλό στη διάγνωση ασθενειών όπως οι άνθρωποι
Η πρώτη συστηματική ανασκόπηση και η μετα-ανάλυση του είδους της διαπιστώνει ότι η τεχνητή νοημοσύνη (AI) είναι εξίσου καλή στη διάγνωση μιας ασθένειας που βασίζεται σε ιατρική εικόνα όπως οι επαγγελματίες του τομέα της υγείας. Ωστόσο, απαιτούνται περισσότερες μελέτες υψηλής ποιότητας.
Ένα νέο άρθρο εξετάζει τα υπάρχοντα στοιχεία σε μια προσπάθεια να προσδιορίσει εάν η AI μπορεί να διαγνώσει ασθένειες τόσο αποτελεσματικά όσο οι επαγγελματίες του τομέα της υγείας.
Από όσα γνωρίζουν οι συγγραφείς - δηλαδή, μια τεράστια ομάδα ερευνητών με επικεφαλής τον καθηγητή Alastair Denniston από το University Hospitals Birmingham NHS Foundation Trust στο Ηνωμένο Βασίλειο - αυτή είναι η πρώτη συστηματική ανασκόπηση που συγκρίνει την απόδοση της τεχνητής νοημοσύνης με τους ιατρούς για όλες τις ασθένειες.
Ο καθηγητής Denniston και η ομάδα αναζήτησαν αρκετές ιατρικές βάσεις δεδομένων για όλες τις μελέτες που δημοσιεύθηκαν από την 1η Ιανουαρίου 2012 έως τις 6 Ιουνίου 2019. Η ομάδα δημοσίευσε τα αποτελέσματα της ανάλυσής τους στο περιοδικό Η ψηφιακή υγεία του Lancet.
Το AI είναι ισοδύναμο με τους επαγγελματίες του τομέα της υγείας
Οι ερευνητές αναζήτησαν μελέτες που συνέκριναν τη διαγνωστική αποτελεσματικότητα των αλγορίθμων βαθιάς μάθησης με εκείνη των επαγγελματιών του τομέα της υγείας όταν είχαν κάνει διάγνωση με βάση την ιατρική απεικόνιση.
Εξέτασαν την ποιότητα της αναφοράς στις εν λόγω μελέτες, την κλινική τους αξία και το σχεδιασμό των μελετών.
Επιπλέον, όσον αφορά την αξιολόγηση της διαγνωστικής απόδοσης του AI σε σύγκριση με εκείνη των επαγγελματιών υγείας, οι ερευνητές εξέτασαν δύο αποτελέσματα: την ειδικότητα και την ευαισθησία.
Η «ευαισθησία» ορίζει την πιθανότητα ότι ένα διαγνωστικό εργαλείο έχει θετικό αποτέλεσμα σε άτομα που πάσχουν από την ασθένεια. Η ειδικότητα αναφέρεται στην ακρίβεια του διαγνωστικού ελέγχου, το οποίο συμπληρώνει το μέτρο ευαισθησίας.
Η διαδικασία επιλογής απέδωσε μόνο 14 μελέτες των οποίων η ποιότητα ήταν αρκετά υψηλή ώστε να συμπεριληφθεί στην ανάλυση. Ο καθηγητής Denniston εξηγεί, "Ελέγξαμε πάνω από 20.500 άρθρα, αλλά λιγότερο από το 1% αυτών ήταν αρκετά στιβαρό στο σχεδιασμό τους και αναφέροντας ότι ανεξάρτητοι κριτικοί είχαν μεγάλη εμπιστοσύνη στους ισχυρισμούς τους."
"Επιπλέον, μόνο 25 μελέτες επικύρωσαν τα μοντέλα AI εξωτερικά (χρησιμοποιώντας ιατρικές εικόνες από διαφορετικό πληθυσμό), και μόλις 14 μελέτες συνέκριναν την απόδοση των επαγγελματιών υγείας και υγείας χρησιμοποιώντας το ίδιο δείγμα δοκιμής."
«Μέσα σε μια χούφτα μελετών υψηλής ποιότητας, διαπιστώσαμε ότι η βαθιά μάθηση θα μπορούσε πράγματι να ανιχνεύσει ασθένειες που κυμαίνονται από καρκίνους έως ασθένειες των ματιών τόσο ακριβή όσο οι επαγγελματίες υγείας. Αλλά είναι σημαντικό να σημειωθεί ότι η τεχνητή νοημοσύνη δεν ξεπέρασε σημαντικά την ανθρώπινη διάγνωση. "
Καθ. Alastair Denniston
Πιο συγκεκριμένα, η ανάλυση διαπίστωσε ότι η AI μπορεί να διαγνώσει σωστά την ασθένεια στο 87% των περιπτώσεων, ενώ η ανίχνευση από επαγγελματίες του τομέα της υγείας απέδωσε 86% ποσοστό ακρίβειας. Η ειδικότητα για αλγόριθμους βαθιάς μάθησης ήταν 93%, σε σύγκριση με τους ανθρώπους στο 91%.
Οι προκαταλήψεις μπορεί να υπερβάλλουν την απόδοση του AI
Ο καθηγητής Denniston και οι συνεργάτες του εφιστούν επίσης την προσοχή σε διάφορους περιορισμούς που βρήκαν σε μελέτες που εξετάζουν τη διαγνωστική απόδοση της AI.
Πρώτον, οι περισσότερες μελέτες εξετάζουν τη διαγνωστική ακρίβεια των επαγγελματιών υγείας και υγειονομικής περίθαλψης σε ένα απομονωμένο περιβάλλον που δεν μιμείται την τακτική κλινική πρακτική - για παράδειγμα, στερώντας από τους γιατρούς πρόσθετες κλινικές πληροφορίες που συνήθως θα χρειαζόταν να κάνουν μια διάγνωση.
Δεύτερον, λένε οι ερευνητές, οι περισσότερες μελέτες συνέκριναν μόνο σύνολα δεδομένων, ενώ η υψηλής ποιότητας έρευνα στη διαγνωστική απόδοση θα απαιτούσε τέτοιες συγκρίσεις σε ανθρώπους.
Επιπλέον, όλες οι μελέτες υπέφεραν από κακή αναφορά, λένε οι συγγραφείς, με ανάλυση που δεν αντιπροσωπεύει πληροφορίες που λείπουν από τα εν λόγω σύνολα δεδομένων. «Οι περισσότερες [μελέτες] δεν ανέφεραν εάν λείπουν δεδομένα, ποια αναλογία αντιπροσωπεύουν και πώς αντιμετωπίστηκαν τα δεδομένα που λείπουν στην ανάλυση», γράφουν οι συγγραφείς.
Οι πρόσθετοι περιορισμοί περιλαμβάνουν ασυνεπή ορολογία, μη καθορισμό σαφούς ορίου για την ανάλυση ευαισθησίας και εξειδίκευσης και την έλλειψη επικύρωσης εκτός δείγματος.
«Υπάρχει μια εγγενής ένταση μεταξύ της επιθυμίας για χρήση νέων, δυνητικά σωστικών διαγνωστικών και της επιτακτικής ανάγκης για ανάπτυξη ποιοτικών στοιχείων με τρόπο που να ωφελεί τους ασθενείς και τα συστήματα υγείας στην κλινική πρακτική», σχολιάζει ο πρώτος συγγραφέας Δρ Xiaoxuan Liu από το Πανεπιστήμιο του Μπέρμιγχαμ
«Ένα βασικό μάθημα από τη δουλειά μας είναι ότι στην τεχνητή νοημοσύνη - όπως και σε οποιοδήποτε άλλο μέρος της υγειονομικής περίθαλψης - το καλό σχέδιο μελέτης έχει σημασία. Χωρίς αυτήν, μπορείτε εύκολα να εισαγάγετε προκατάληψη που παρακάμπτει τα αποτελέσματά σας. Αυτές οι προκαταλήψεις μπορούν να οδηγήσουν σε υπερβολικούς ισχυρισμούς καλής απόδοσης για εργαλεία AI που δεν μεταφράζονται στον πραγματικό κόσμο. "
Δρ Xiaoxuan Liu
«Τα στοιχεία για το πώς οι αλγόριθμοι AI θα αλλάξουν τα αποτελέσματα των ασθενών πρέπει να προέρχονται από συγκρίσεις με εναλλακτικές διαγνωστικές εξετάσεις σε τυχαιοποιημένες ελεγχόμενες δοκιμές», προσθέτει η συν-συγγραφέας Dr. Livia Faes από το Moorfields Eye Hospital, Λονδίνο, Ηνωμένο Βασίλειο.
«Μέχρι στιγμής, δεν υπάρχουν καθόλου τέτοιες δοκιμές όπου οι διαγνωστικές αποφάσεις που λαμβάνονται από έναν αλγόριθμο AI εφαρμόζονται για να δουν τι συμβαίνει τότε σε αποτελέσματα που έχουν μεγάλη σημασία για τους ασθενείς, όπως έγκαιρη θεραπεία, χρόνος εξόδου από το νοσοκομείο ή ακόμη και ποσοστά επιβίωσης».
