Search
Close this search box.

Η Τεχνητή Νοημοσύνη στη Δικαιοσύνη – Τα ρομπότ στην έδρα, οι άνθρωποι στο εδώλιο

Πώς θα σας φαινόταν αν στη θέση του δικαστή βρισκόταν ένα ρομπότ; Πόσο αντικειμενικά είναι τα πορίσματα των αλγορίθμων; Πόσο ικανός είναι ένας αλγόριθμος να προβεί σε σταθμίσεις με βάση την αρχή της αναλογικότητας, όταν συγκρούονται δύο διαφορετικά έννομα αγαθά; Η Διονυσία Πετράκου γράφει για την αξιοποίηση της τεχνητής νοημοσύνης στην απονομή δικαιοσύνης, τις ευκαιρίες, αλλά και τους κινδύνους.

Πώς θα σας φαινόταν αν στη θέση του δικαστή βρισκόταν ένα ρομπότ; Πόσο αντικειμενικά είναι τα πορίσματα των αλγορίθμων; Πόσο ικανός είναι ένας αλγόριθμος να προβεί σε σταθμίσεις με βάση την αρχή της αναλογικότητας, όταν συγκρούονται δύο διαφορετικά έννομα αγαθά;

Στις ΗΠΑ τα τελευταία χρόνια χρησιμοποιούνται αλγόριθμοι εκτίμησης του κινδύνου υποτροπής του δράστη. Παρόλο που η γενεσιουργός αιτία της εισχώρησης τους στη δικαιοσύνη ήταν η εξάλειψη της μεροληψίας του ανθρώπινου παράγοντα, όλα δείχνουν ότι η βασική αρετή των αλγόριθμων δεν είναι η αμεροληψία και ότι αυτοί επιτείνουν τις ανθρώπινες προκαταλήψεις. Χαρακτηριστική σε αυτή την κατεύθυνση είναι η άποψη της H. Fry (2018) σύμφωνα με την οποία «ό, τι κερδίζει η δικαιοσύνη σε ακρίβεια, το χάνει σε αμεροληψία».[1]

Σύμφωνα με τη μελέτη που πραγματοποιήθηκε από την Propublica [2], οι αλγόριθμοι εμφανίζουν τους αφροαμερικάνους με υψηλότερο κίνδυνο υποτροπής τέλεσης νέων αδικημάτων και τους λευκούς με χαμηλότερο από αυτόν που είχαν στην πραγματικότητα.

Η συστηματική μελέτη των αλγορίθμων δείχνει ότι αυτοί είναι αρκετά επιρρεπείς στην πραγματοποίηση δυσμενών διακρίσεων είτε λόγω των εγγενών αδυναμιών στη λειτουργία τους καθώς ταξινομούν τις υποθέσεις σύμφωνα με κοινωνικές ή άλλες ομαδοποιήσεις, είτε λόγω της κακής ποιότητας των δεδομένων με τα οποία τροφοδοτούνται.

Επιπλέον, από τις σχετικές μελέτες έχει προκύψει ότι το πρόβλημα των αλγόριθμων δεν έγκειται στην αδυναμία τους να αναγνωρίσουν τη διάκριση και να τη διορθώσουν, αλλά στο ενδεχόμενο να χρησιμοποιήσουν τα δεδομένα που εισάγονται στο εσωτερικό τους, με τρόπο που θα καταλήγουν σε αποτελέσματα που θεμελιώνουν πρωτογενώς δυσμενείς διακρίσεις. Για παράδειγμα, ένα σύστημα εκτίμησης του κινδύνου υποτροπής, βασισμένο στα δεδομένα που λαμβάνει από το εθνικό ποινικό μητρώο συνδυάζοντας τα στοιχεία του δράστη με τα δεδομένα της διεύθυνσης του, μπορεί να κατατάξει τους κατοίκους ορισμένων περιοχών με υψηλά επίπεδα εγκληματικότητας πιο επιρρεπείς στην τέλεση νέων αδικημάτων.[3]

Ακόμα πιο σοβαρό είναι το ζήτημα που αφορά την αδιαφάνεια στο εσωτερικό των συστημάτων. Η πρόταξη της πνευματικής ιδιοκτησίας των εταιρειών έναντι των δικαιωμάτων των κατηγορουμένων να έχουν πρόσβαση σε όλα τα στοιχεία που συνέβαλαν στην καταδίκη τους, μεταξύ των οποίων και το πόρισμα του αλγορίθμου, υπονομεύει με έναν καφκικό τρόπο το δικαίωμα στη δίκαιη δίκη. Στην υπόθεση State Vs Loomis[4], το Δικαστήριο έκρινε ότι η χρήση του αλγόριθμου εκτίμησης επικινδυνότητας του δράστη δεν εγείρει ζητήματα παραβίασης του δικαιώματος στη δίκαιη δίκη, με την αιτιολογία ότι τα δεδομένα που χρησιμοποιήθηκαν για την κατάταξη του κατηγορούμενου ως υψηλού κινδύνου , ήταν αυτά που είχε δώσει ο ίδιος βάσει του ερωτηματολογίου που απάντησε. Το γεγονός ότι το δικαστήριο απέρριψε τις ενστάσεις του κατηγορουμένου ότι παραβιάζεται το δικαίωμα του στη δίκαιη δίκη, επειδή δε γνωρίζει τη μεθοδολογία με την οποία το σύστημα κατέληξε στην κατηγοριοποίηση του αυτή, παραβιάζει κατάφωρα το δικαίωμα του κατηγορουμένου να έχει πρόσβαση στα δεδομένα που τον αφορούν, καθώς και στην υποχρέωση των δικαστηρίων να εκδίδουν αιτιολογημένες αποφάσεις.

Η προτεραιοποίηση από τη συγκεκριμένη απόφαση του εμπορικού απορρήτου και της πνευματικής ιδιοκτησίας του λογισμικού έναντι των αιτιάσεων του κατηγορουμένου για πρόσβαση στα δεδομένα που συνετέλεσαν στην καταδίκη του, υπονομεύει την καταλληλόλητα της χρήσης των αλγορίθμων από τα δικαστήρια, εφόσον δε λαμβάνουν γνώση οι κατηγορούμενοι όλων των παραγόντων που τους κατατάσσουν σε άτομα χαμηλού, μεσαίου, ή υψηλού ρίσκου υποτροπής και ως εκ τούτου παραβιάζουν το δικαίωμα σε δίκαιη δίκη.

Βέβαια, οι προβληματικές αυτές εντοπίζονται στην ποινική δικαιοσύνη. Η συμβολή της Τεχνητής Νοημοσύνης σε άλλους κλάδους όπως η πολιτική και η διοικητική δικαιοσύνη δημιουργεί λιγότερα προβλήματα στην εφαρμογή της. Στους κλάδους αυτούς, το πιο κομβικό μειονέκτημα της χρήσης των υφιστάμενων εργαλείων Tεχνητής Νοημοσύνης, έγκειται στην αδυναμία τους να δημιουργήσουν έναν συλλογισμό βασισμένο στην αρχή της αναλογικότητας. Η έλλειψη αυτή είναι ουσιαστική, λαμβάνοντας υπόψιν τη φύση των συνταγματικά κατοχυρωμένων δικαιωμάτων, αλλά και των δικαιωμάτων που προβλέπονται στην Ευρωπαϊκή Σύμβαση των Δικαιωμάτων του Ανθρώπου και στον Χάρτη των Θεμελιωδών Δικαιωμάτων της Ευρωπαϊκής Ένωσης, τα οποία κατά κανόνα δεν είναι απόλυτα, αλλά τελούν σε συνάρτηση με άλλα δικαιώματα και, επομένως, μπορούν να περιορίζονται.

Αυτή τη νομιμότητα των περιορισμών και την εξισορρόπηση μεταξύ διαφορετικών δικαιωμάτων, την οποία καλείται να την αξιολογήσει ο δικαστής με βάση την αρχή της αναλογικότητας σταθμίζοντας τα διαφορετικά δικαιώματα, τον σκοπό, το βαθμό και την έκταση των περιορισμών, δεν μπορεί να την πραγματοποιήσει ο αλγόριθμος. Άλλωστε, η αρχή της αναλογικότητας κατά τη δικανική κρίση αποτελεί μια «δημιουργική στιγμή»[5] , κατά την οποία ο δικαστής επιχειρεί να εξειδικεύσει την αναγκαιότητα, την καταλληλόλητα και τη συνάφεια των περιορισμών στην εκάστοτε υπόθεση. 

Ωστόσο, ο αλγόριθμος αποτυγχάνει να ακολουθήσει αυτή τη μοναδικότητα της εκάστοτε στάθμισης, η οποία αποτελεί ένα από τα βασικά προτερήματα του ανθρώπινου συλλογισμού. Ακόμα όμως κι αν μπορούσε τεχνικά ο αλγόριθμος να προβαίνει σε σταθμίσεις με βάση την αρχή της αναλογικότητας, θα το έκανε χωρίς την ανθρώπινη σκέψη, αλλά με βάση απόμακρες και αυτοματοποιημένες τεχνικές μιας ενδεχομένως ακατανόητης μαθηματικής συλλογιστικής. Όμως, ο δικαστής είναι κάτι ανώτερο από έναν απλό εφαρμοστή του νόμου και η δικαιοσύνη αποτελεί μια ανώτερη αξία από ένα μοτίβο μαθηματικών συνόλων.

Από την άλλη πλευρά, παρόλο που οι ενστάσεις ενάντια στην υποκατάσταση του δικαστή και του δικηγόρου από τις μηχανές είναι βάσιμες, αναδεικνύουν τη μία μόνο διάσταση του ζητήματος, αυτή που σχετίζεται με την εφαρμογή των συστημάτων της Τεχνητής Νοημοσύνης στην ποινική δικαιοσύνη ή στην καθολική υποκατάσταση των δικαστών από αλγόριθμους. Με τον τρόπο αυτό, αντιμετωπίζοντας ολιστικά και ενιαία τις εφαρμογές, κινδυνεύουν να οδηγηθούν σε μια καθολική άρνηση της Τεχνητής Νοημοσύνης και να οχυρωθούν στην υπεράσπιση του υφιστάμενου συστήματος απονομής της δικαιοσύνης.[6]

Χαρακτηριστική της ανωτέρω προβληματικής, είναι η εν εξελίξει υγειονομική κρίση, η οποία λειτούργησε ως μεγεθυντικός φακός της κατάστασης της ελληνικής δικαιοσύνης, η βραδύτητα της οποίας συχνά λαμβάνει χαρακτηριστικά αρνησιδικίας. Δεν θα ήταν υπερβολή να ισχυριστεί κανείς ότι το σύστημα απονομής δικαιοσύνης επέδειξε ελάχιστη ψηφιακή προσαρμοστικότητα, με αποτέλεσμα να ανασταλεί το σύνολο σχεδόν των δικαιοδοτικών λειτουργιών και να φτάσει στα όρια της καταστροφής. Ωστόσο, υπήρξαν χώρες που επέδειξαν μεγάλη προσαρμοστικότητα στις νέες τεχνολογίες, χωρίς να αναγκαστούν να αναστείλουν το σύνολο της δικαιοδοτικής τους λειτουργίας[7][8].

Η Τεχνητή Νοημοσύνη θα μπορούσε να επιλύσει αποφασιστικά αυτή τη διαχρονική αμαρτία, συμβάλλοντας αποτελεσματικά στην επιτάχυνση της απονομής της δικαιοσύνης. Θα μπορούσε, επιπλέον, να αποτελέσει έναν πολύτιμο βοηθό σε μια σειρά από διαδικασίες οργάνωσης των δικαστηρίων (μηχανές εξιδεικευμένης αναζήτησης της νομολογίας, chatbox καθοδήγησης των πολιτών, παροχή αυτόματης νομικής βοήθειας σε τυποποιημένες υποθέσεις, να συμβάλει σε διοικητικές εργασίες για την διευκόλυνση των γραμματειών των δικαστηρίων κ.ά).

Θα μπορούσε, επίσης, να αποτελέσει ένα πολύτιμο σύμμαχο για την υλοποίηση του «φιλτραρίσματος»[9] των υποθέσεων. Πράγματι ένας μεγάλος όγκος υποθέσεων είναι εφικτό να επιλυθεί είτε εξωδικαστικά (αποτελεσματικό σύστημα διαμεσολάβησης με τη βοήθεια των εργαλείων της τεχνητής νοημοσύνης) είτε διοικητικά[10] αντί να εισάγεται για δικαστική κρίση, επιβαρύνοντας περαιτέρω τον φόρτο εργασίας του δικαστή.

Χαρακτηριστικά παραδείγματα τέτοιων υποθέσεων που μπορούν να τυποποιηθούν είναι οι υποθέσεις εκουσίας δικαιοδοσίας, οι διαταγές πληρωμής ή ορισμένες υποθέσεις οικογενειακού δικαίου (αγωγή διετούς διάστασης). Σε άλλες υποθέσεις, όπως στις αγωγές διατροφής, στις αγωγές καταβολής δεδουλευμένων, στις αγωγές για διαφορές από συντάξιμες αποδοχές  θα μπορούσε ο αλγόριθμος να αποτελεί τον βοηθό του δικαστή στη διαδικασία του υπολογισμού των οφειλόμενων ποσών .

Σε κάθε περίπτωση, τον τελικό λόγο θα πρέπει να τον έχει ο δικαστής, ο οποίος λαμβάνοντας το πόρισμα του αλγορίθμου και θα μπορεί να το προσαρμόζει στα δεδομένα της εκάστοτε υπόθεσης και να αποφευχθούν τα σφάλματα, αλλά και μια διαδικασία στατιστικοποίησης της δικαιοσύνης. [11]

Συμπερασματικά, η Τεχνητή Νοημοσύνη μπορεί να συμβάλλει αποφασιστικά στην επιτάχυνση της απονομής της δικαιοσύνης, στην ασφάλεια δικαίου και στην αποτελεσματικότητα του δικαιοδοτικού έργου, η οποία, όμως, θα όμως θα πρέπει να συνεπικουρεί το κυρίως έργο του δικαστή. Θα μπορούσε, επίσης, να συμβάλλει εποικοδομητικά στην διαμόρφωση μιας συνεκτικότερης νομολογίας.

Ωστόσο, αυτός ο υποστηρικτικός ρόλος της ΤΝ στη δικαιοσύνη δεν στερείται ουσιαστικών και διαδικαστικών προϋποθέσεων.

Τα συστήματα της Τεχνητής Νοημοσύνης θα πρέπει να τροφοδοτούνται από ποιοτικά δεδομένα, να είναι ανοιχτά στον ανθρώπινο έλεγχο και να αποφεύγουν τη χρήση μεθόδων μαύρου κουτιού και εξισωτισμού που μπορεί να οδηγήσει σε καταδίκη βάσει χαρακτηριστικών ομάδας. [12] Ιδιαίτερη σημασία αποκτά το άρθρο 22 του ΓΚΠΔ με το οποίο θεσπίζεται το δικαίωμα των χρηστών να μην υπόκεινται σε απόφαση που λαμβάνεται αποκλειστικά βάσει αυτοματοποιημένης επεξεργασίας[13]και να μπορούν να εναντιωθούν σε αυτή ενώπιον δικαστηρίου που πληροί της προϋποθέσεις του άρθρου 6 της ΕΣΔΑ. Σε διαφορετική περίπτωση, η υιοθέτηση συστημάτων με τη μορφή black box στη δικαιοσύνη, θα οδηγούσε τη δικαιοδοτική λειτουργία στη σκοτεινή εποχή της δίκης του Κάφκα, όπου ο κατηγορούμενος παραιτούνταν από όλα τα δικονομικά του δικαιώματα και καταδικαζόταν στο τέλος στη βάση ασαφών κανόνων δικαίου.

Παράλληλα, η ασφάλεια δικαίου που δημιουργείται μέσω της Τεχνητής Νοημοσύνης λόγω της διαμόρφωσης συνεκτικότερης νομολογίας θα πρέπει να εξισορροπείται με τη ζωτικότητα της δικαστικής ερμηνείας».[14]  Άλλωστε, για να κατορθώσει η νομολογία να μείνει «ζωντανή», έχει ανάγκη από έναν φυσικό δικαστή, ο οποίος διαθέτει την ικανότητα να αντιλαμβάνεται  το δυναμικό πλαίσιο της κοινωνικής δυναμικής και να ερμηνεύει τους νόμους όχι μόνο μέσα από σταθερούς και αμετάβλητους κανόνες, αλλά και υπό το πρίσμα μιας «εξελικτικής διάστασης». [15]

Αντίθετα, ο αλγόριθμος μαθαίνοντας από το παρελθόν, αδυνατεί αντικειμενικά να αλλάξει τη νομολογία παραμένοντας στάσιμος στις αποφάσεις, αλλά και τις κοινωνικές αντιλήψεις του παρελθόντος. Σύμφωνα με τον επιφανή Αμερικανό συνταγματολόγο Jack Balkin η δύναμη της νομολογίας έγκειται στην «ικανότητα της να δημιουργεί νέες συνταγματικές κατασκευές». Η δικαιοσύνη πρέπει να παραμείνει στον πυρήνα της ανθρωποκεντρική, ο δικαστής θα πρέπει να παραμείνει ως δυνατότητα της ανθρώπινης συνάντησης του νόμου με την κοινωνική και οικονομική πραγματικότητα και η Τεχνητή Νοημοσύνη να αναλάβει το ρόλο του πολύτιμου αρωγού της δικαστικής λειτουργίας. Η δικαιοσύνη μπορεί να ωφεληθεί ουσιωδώς από ορισμένες εφαρμογές της Τεχνητής Νοημοσύνης αρκεί να κατοχυρωθεί το κατάλληλο θεσμικό πλαίσιο, με γνώμονα τις συνταγματικές αρχές και τους κανόνες του ενωσιακού δικαίου.[16]

Δυστυχώς, στην Ελλάδα ο προβληματισμός για τις εφαρμογές της Τεχνητής Νοημοσύνης δεν είναι ακόμα συστηματικός. Η πρόσφατη ρύθμιση του άρθρου 24 του ν. 4786/2021 με την οποία εισάγονται περιορισμοί στο όριο των σελίδων των δικογράφων, αναδεικνύουν ότι η συζήτηση για την επιτάχυνση της δικαιοσύνης διεξάγεται με όρους αρκετά κατώτερους των τεχνολογικών εξελίξεων, της διεθνούς εμπειρίας και των επιστημονικών δεδομένων.

Διονυσία Πετράκου
Δικηγόρος MSc Δικαίου Τεχνολογίας και Οικονομίας


Υποσημειώσεις:

[1] Fry H. (2018), Hello World: How to be Human in the Age of the Machine.

[2] Διαθέσιμη ηλεκτρονικά στο https://www.propublica.org/datastore/dataset/compas-recidivism-risk-score-data-and-analysis

[3] Παπαδημητράκης Γ. (2019).  Big data και αλγοριθμικές μελέτες επικινδυνότητας- νέες προκλήσεις στο χώρο της ποινολογίας» διαθέσιμο στο https://www.researchgate.net.

[4] State v. Loomis, 881 N.W.2d 749, 761 (Wis. 2016), petition for cert. filed , No.16-6387 (U.S. Oct. 5, 2016).

[5] Βουτσάκης Β, « Η αρχή της αναλογικότητας: από την ερμηνεία στη διάπλαση δικαίου», σε: Κ. Σταμάτη (επιμ.), «Όψεις του Κράτους Δικαίου», εκδ. Σάκκουλα, 1990, σ. 208 και 233.

[6] Βλ. αναλυτικά Πετράκου Δ. (2020) «Τεχνητή νοηµοσύνη και δικαιοσύνη. Συνταγµατική θεµελίωση, κίνδυνοι και προοπτικές», Εφημερίδα Διοικητικού Δικαίου (ΕφημΔΔ), σ.654

[7] https://e-justice.europa.eu/content_impact_of_covid19_on_the_justice_field-37147-en.do.

[8] Από την άλλη πλευρά, δεν έλειψαν και περιπτώσεις ακραίου εξισωτισμού των ψηφιακών μέσων ως ισοδύναμων με τη δια ζώσης απονομή της δικαιοσύνης, με χαρακτηριστικότερη την περίπτωση της Σιγκαπούρης[8]και της Νιγηρίας που επέβαλαν στους κατηγορούμενους θανατική ποινή μέσω τηλεδιάσκεψης https://www.dikastiko.gr/eidhsh/thanatiki-poini-meso-zoom/

[9] Κοντιάδης Ξ. (2009), Η δυσπραγία του Δικαστικού συστήματος σε: Ο ασάλευτος χρόνος της ελληνικής δικαιοσύνης» , Αθήνα: Καλλίγραφος, σ. 299.

[10] Παπαρηγόπουλος Ξ.- Κυριαζής Ν. (2010), Για την Επιτάχυνση και τη Βελτίωση της Δικαιοσύνης σε«ο Ασάλευτος χρόνος της Ελληνικής Δικαιοσύνης», Αθήνα: Καλλίγραφος, σ.315

[11] https://www.lawspot.gr/nomika-blogs/vasilis_karkatzoynis/tehniti-noimosyni-sti-dikaiosyni-entyposiakes-prooptikes

[12] Ομάδα εμπειρογνωμόνων υψηλού επιπέδου για την τεχνητή νοημοσύνη: Κατευθυντήριες γραμμές για αξιόπιστη Τεχνητή Νοημοσύνη

[13] Παναγοπούλου-Κουτνατζή Φ. (2017), Ο Γενικός Κανονισμός για την Προστασία Δεδομένων 679/2016/ΕΕ, Αθήνα: Σάκκουλας

[14]  ΕΔΔΑ, Greek Catholic parish Lupeni and Others v. Romania, 29/11/2016, § 116.

[15] Για την εξελικτική μέθοδο ερμηνείας βλ. Βλαχογιάννη Α. εισαγωγή σε Balkin J. «Το ζωντανό Σύνταγμα», (2018), Αθήνα, Παπαζήσης, σ. 37

[16] Πετράκου Δ. (2020) «Τεχνητή νοηµοσύνη και δικαιοσύνη. Συνταγµατική θεµελίωση, κίνδυνοι και προοπτικές», Εφημερίδα Διοικητικού Δικαίου (ΕφημΔΔ), σ.653

Σου άρεσε το άρθρο, αλλά σου δημιούργησε νέες απορίες;

Έχεις και άλλα ερωτήματα που σε απασχολούν σε σχέση με το Σύνταγμα, τους Θεσμούς, τα δικαιώματα και τη λειτουργία της Δημοκρατίας;

Σχετικά Άρθρα

Ανεξαρτησία της δικαιοσύνης / Δεκάλεπτα Μαθήματα για το Σύνταγμα και την ΕΣΔΑ (50ο video-podcast)

Στο 50ο Βίντεο-Μάθημα της ειδικής εκπαιδευτικής ενότητας Δεκάλεπτα Μαθήματα για το Σύνταγμα & την ΕΣΔΑ, ο Κωνσταντίνος Γώγος αναλύει το άρθρο 87 του Συντάγματος σχετικά με την ανεξαρτησία της Δικαιοσύνης.

Περισσότερα

ΕΣΔΑ Άρθρο 6 §3: Τα δικαιώματα του κατηγορούμενου / Δεκάλεπτα Μαθήματα για το Σύνταγμα και την ΕΣΔΑ (36ο video-podcast)

Στο 36ο Βίντεο-Μάθημα της ειδικής εκπαιδευτικής ενότητας Δεκάλεπτα Μαθήματα για το Σύνταγμα & την ΕΣΔΑ, ο Τριαντάφυλλος Ζολώτας αναλύει την τρίτη παράγραφο του άρθρου 6 της Ευρωπαϊκής Σύμβασης Δικαιωμάτων του Ανθρώπου, στην οποία περιγράφονται τα δικαιώματα του κατηγορούμενου.

Περισσότερα

Θέλεις να μαθαίνεις

πρώτος τα νέα μας;

Αν σε ενδιαφέρει να ενημερώνεσαι άμεσα για τις νέες δημοσιεύσεις και τις δράσεις του Syntagma Watch, τότε εγγράψου στο newsletter μας!

Αυτός ο ιστότοπος για τη διευκόλυνση της λειτουργίας του και προκειμένου να σας παρέχει μια προσωποποιημένη εμπειρία χρησιμοποιεί cookies. Για να ενημερωθείτε για τη χρήση των cookies και τις σχετικές ρυθμίσεις μπορείτε να επιλέξετε εδώ

JOIN THE CLUB!

It’s easy: all we need is your email & your eternal love. But we’ll settle for your email.

Subscribe

* indicates required
Email Format

Please select all the ways you would like to hear from Syntagma Watch:

You can unsubscribe at any time by clicking the link in the footer of our emails. For information about our privacy practices, please visit our website.

We use Mailchimp as our marketing platform. By clicking below to subscribe, you acknowledge that your information will be transferred to Mailchimp for processing. Learn more about Mailchimp's privacy practices here.