Η τεχνητή νοημοσύνη φαίνεται να πλησιάζει στο να επιτύχει το απόλυτο σκορ σε ένα από τα πιο απαιτητικά τεστ γνώσεων παγκοσμίως, το «Humanity’s Last Exam (HLE)», μέσα στους επόμενους μήνες, σύμφωνα με τους δημιουργούς του τεστ.
Το HLE σχεδιάστηκε από ειδικούς της τεχνολογίας με στόχο την αξιολόγηση του επιπέδου νοημοσύνης των συστημάτων και περιλαμβάνει 2.500 προσεκτικά επιλεγμένες ερωτήσεις, που καλύπτουν περίπου 100 θεματικές ενότητες, από την πυραυλική επιστήμη και τη μυθολογία έως τη φυσιολογία. Κάθε ερώτηση απαιτεί κατανόηση επιπέδου διδακτορικού (PhD), ενώ ένα σκορ κοντά στο 100% θα απονέμει τον τίτλο του «καθολικού ειδικού». Πριν από δύο χρόνια, το ChatGPT της OpenAI είχε πετύχει μόλις 3% στο τεστ, ενώ τα αντίστοιχα μοντέλα της Google και της Anthropic δεν είχαν καλύτερες επιδόσεις. Το τεστ συνέβαλε τότε στον περιορισμό των ανησυχιών για την κυριαρχία της τεχνητής νοημοσύνης, καθώς ανέδειξε «ένα σημαντικό χάσμα» ανάμεσα στα μεγάλα γλωσσικά μοντέλα (LLMs) και τους κορυφαίους ακαδημαϊκούς.
Ωστόσο, το φαινομενικά αδύνατο HLE ενδέχεται να εξελιχθεί σε ακόμη ένα ορόσημο στη ραγδαία πρόοδο της τεχνητής νοημοσύνης. Το Gemini, το σύστημα AI της Google, κατέγραψε τον Φεβρουάριο επίδοση 45,9%, σημειώνοντας εντυπωσιακή άνοδο από το 18,8% μέσα σε λίγους μήνες από την πρώτη του συμμετοχή, ενώ το τέλειο σκορ θεωρείται πλέον εφικτό, σύμφωνα με τον Κάλβιν Ζανγκ, επικεφαλής έρευνας στη Scale, την εταιρεία που ανέπτυξε το τεστ.
«Στόχος μας ήταν να δημιουργήσουμε ένα ακαδημαϊκό benchmark κλειστού τύπου στο επίπεδο των κορυφαίων ειδικών, που μόνο ελάχιστοι άνθρωποι μπορούν να επιλύσουν», δήλωσε ο Ζανγκ. «Τα τελευταία χρόνια έχουμε δει εντυπωσιακή πρόοδο στα γλωσσικά μοντέλα. Οι δημιουργοί τους έχουν βελτιώσει σημαντικά τις δυνατότητες συλλογισμού». Στο ίδιο μήκος κύματος, η Κέιτ Ολζέσβκα, product manager στη DeepMind, υπογράμμισε ότι, αν αυτός ήταν ο μοναδικός στόχος, η επίτευξη του απόλυτου σκορ θα μπορούσε να γίνει πολύ γρήγορα.
Η Anthropic, που βρίσκεται πίσω από το σύστημα Claude και αποτελεί βασικό ανταγωνιστή του ChatGPT, έχει φτάσει σε επίδοση 34,2% στο HLE, με ταχύ ρυθμό βελτίωσης. Ένα σκορ 100% θα αποτελούσε σημαντικό ορόσημο, καθώς το τεστ έχει σχεδιαστεί ως «το τελευταίο ακαδημαϊκό benchmark κλειστού τύπου», σύμφωνα με τους δημιουργούς του.
Αυτό σημαίνει ότι, εφόσον η τεχνητή νοημοσύνη κατακτήσει το HLE, η αξιολόγησή της στο μέλλον θα απαιτεί ερωτήματα των οποίων οι απαντήσεις δεν είναι γνωστές σε κανέναν άνθρωπο.
Το τεστ
Το HLE δημιουργήθηκε από ερευνητές της Scale και του μη κερδοσκοπικού οργανισμού Center for AI Safety, με στόχο την αξιολόγηση τόσο του εύρους γνώσεων όσο και του βάθους συλλογισμού της τεχνητής νοημοσύνης. Ειδικοί από περίπου 50 χώρες υπέβαλαν 70.000 ερωτήσεις, ανταποκρινόμενοι σε διεθνή πρόσκληση τον Σεπτέμβριο του 2024, που συνοδευόταν από έπαθλο 500.000 δολαρίων.
Οι ερωτήσεις έπρεπε να έχουν σαφείς και σύντομες απαντήσεις και να μην είναι εύκολα ανιχνεύσιμες στο Διαδίκτυο. Η λίστα περιορίστηκε στις 13.000 ερωτήσεις, αφού αφαιρέθηκαν όσες μπορούσαν να απαντηθούν από υπάρχοντα μοντέλα. Από αυτές επιλέχθηκαν 2.500, με ορισμένες να τροποποιούνται ή να αποσύρονται βάσει σχολίων χρηστών. Οι ερωτήσεις απαιτούν ευρύ φάσμα γνώσεων, από τη βιολογία έως τις γλωσσικές δεξιότητες, ενώ πολλές παραμένουν μυστικές ώστε να αποφεύγεται η αξιοποίησή τους από τα συστήματα μέσω δημόσιων συζητήσεων.
Η επιτυχία στο HLE θα μπορούσε να συγκριθεί με τη νίκη του υπερυπολογιστή Deep Blue της IBM απέναντι στον παγκόσμιο πρωταθλητή σκακιού Γκάρι Κασπάροφ το 1997, μια εξέλιξη που είχε διαψεύσει τις προβλέψεις των ειδικών. Από τότε, μια σειρά σημαντικών benchmarks AI έχει ξεπεραστεί, όπως το Massive Multitask Language Understanding (MMLU), το οποίο παρουσιάστηκε το 2020 και εγκαταλείφθηκε όταν τα συστήματα άρχισαν να επιτυγχάνουν σκορ άνω του 90%.
«Καθώς η AI πλησιάζει στο σημείο να κατακτήσει τεστ που σχεδιάστηκαν από ανθρώπους, η επέκταση πέρα από τα όρια της ανθρώπινης γνώσης γίνεται βασικός στόχος», σημείωσε η Ολζέσβκα. Ωστόσο, σύμφωνα με τον Ζανγκ, η ανθρώπινη εξειδίκευση θα παραμείνει απαραίτητη, ιδιαίτερα σε πρακτικά πεδία όπως η χειρουργική και σε δεξιότητες που απαιτούν κρίση και δημιουργικότητα, οι οποίες είναι δυσκολότερο να αναπαραχθούν από την τεχνητή νοημοσύνη.
Διαβάστε ακόμη
Όμιλος ΑΒΑΞ: Στο 1 δισ. ο κύκλος εργασιών με αύξηση 47,1% – EBITDA €121 εκατ., καθαρά κέρδη €48 εκατ. – Μέρισμα €0,10 ανά μετοχή
Η γεωπολιτική κρίση στη Μέση Ανατολή εκτοξεύει τον κίνδυνο για την παγκόσμια αγορά αλουμινίου
Ντάιμον: Η JPMorgan μπορεί να εισέλθει στη αγορά προβλέψεων
Για όλες τις υπόλοιπες ειδήσεις της επικαιρότητας μπορείτε να επισκεφτείτε το Πρώτο Θέμα