Wenige Wochen vor dem Zusammenbruch von AllHere, einem Bildungstechnologieunternehmen, das von Risikokapitalgebern mit Geld überschüttet wurde und in wohlwollenden Artikeln der Wirtschaftspresse vorgestellt wurde, wurde Amerikas zweitgrößtem Schulbezirk von Problemen mit dem Produkt von AllHere gewarnt. Das inzwischen acht Jahre alte Startup rollte einen schicken neuen KI-gesteuerten Chatbot des Los Angeles Unified School District aus — eine animierte Sonne namens “Ed”, die von AllHere für 6 Millionen Dollar gebaut wurde. Ein ehemaliger leitender Mitarbeiter des Unternehmens sendete E-Mails an den Schulbezirk und andere, in denen er darauf hinwies, dass die Arbeitsweise des Chatbots gegen grundlegende Datenschutzprinzipien für Schüler verstößt.
Die E-Mails wurden kurz vor der ersten Berichterstattung von The 74 letzte Woche gesendet, als bekannt wurde, dass AllHere, mit 12 Millionen Dollar an Investorengeldern, in ernsten Schwierigkeiten steckte. Ein Statement auf der Website des Unternehmens vom 14. Juni enthüllte, dass die Mehrheit der Mitarbeiter aufgrund der “aktuellen finanziellen Situation” in den Zwangsurlaub geschickt worden war. Die Gründerin und CEO des Unternehmens, Joanna Smith-Griffin, war nicht mehr im Amt. Smith-Griffin und der Superintendent von Los Angeles, Alberto Carvalho, gingen gemeinsam auf Tour, um Ed auf einer Reihe von hochkarätigen Bildungstechnologiekonferenzen vorzustellen.
Durch einen Algorithmus, der Daten von verschiedenen Quellen analysiert, wurde der Chatbot entwickelt, um maßgeschneiderte Antworten auf Fragen wie “Welche Note hat mein Kind in Mathematik?” anzubieten. Chris Whiteley, ehemaliger leitender Software-Ingenieur bei AllHere, der im April entlassen wurde, hatte sich zum Whistleblower gemacht. Er informierte Schulbezirksbeamte, das Büro des unabhängigen Inspektors und staatliche Bildungsbehörden darüber, dass das Tool Schülerdatensätze auf eine Weise verarbeitete, die wahrscheinlich gegen die eigenen Datenschutzrichtlinien von L.A. Unified verstieß und sensible Informationen einem erhöhten Risiko von Hackerangriffen aussetzte.
Whiteley enthüllte, dass die Führungskräfte von AllHere nicht verstanden, wie man Daten schützte und dass das Produkt zwar funktionierte, aber durch Betrug funktionierte. Die Praktiken des Unternehmens verletzten Datenschutzprinzipien und setzten die Informationen der Schüler unnötig Cyberangriffen und Datenlecks aus, womit sie gegen die datenschutzrechtliche Vereinbarung des Bezirks verstießen. Der Vertrag stellt fest, dass der Chatbot darauf trainiert werden sollte, “vertrauliche oder sensible Informationen zu erkennen” und Eltern und Schülern davon abzuraten, persönliche Details mit ihm zu teilen. Dennoch war die Entscheidung des Chatbots, Schülern individuelle Informationen bereitzustellen, außerhalb der Kontrolle der Familien.
