Microsoft Copilot chybně zpracovával důvěrné e-maily

Společnost Microsoft potvrdila chybu, která vedla k tomu, že AI asistent mohl v některých případech zpracovávat a shrnovat e-maily označené jako důvěrné. Podle vyjádření firmy se problém týkal zpráv uložených ve složkách Koncepty a Odeslané v desktopové aplikaci Outlook, a to i tehdy, když byly označeny citlivostním štítkem a chráněny politikami pro prevenci úniku dat (DLP). Microsoft uvedl, že již nasadil konfigurační aktualizaci pro enterprise zákazníky po celém světě a zdůraznil, že nedošlo k poskytnutí přístupu k informacím uživatelům, kteří by k nim nebyli autorizováni.

Na problém jako první upozornil technologický server Bleeping Computer, který citoval interní servisní upozornění Microsoftu. V něm stálo, že Copilot Chat nesprávně zpracovával e-maily s aplikovaným označením „confidential“. Podle dostupných informací měl být Microsoft na chybu upozorněn již v lednu, přičemž její příčina byla interně označena jako problém v kódu.

Microsoft dlouhodobě prezentuje Microsoft 365 Copilot jako nástroj navržený pro podnikové prostředí s důrazem na bezpečnost, izolaci tenantů a respektování existujících přístupových práv. Firma nyní uvedla, že samotné mechanismy řízení přístupu a ochrany dat zůstaly funkční, avšak chování nástroje neodpovídalo zamýšlenému modelu, podle něhož měl být obsah označený jako chráněný zpracování Copilotem vyloučen. Jinými slovy, nešlo o prolomení přístupových kontrol, ale o selhání v implementaci logiky, která měla citlivý obsah zpracování AI nástrojem zabránit.

Incident znovu otevírá širší debatu o řízení rizik spojených s nasazováním generativní AI v podnikovém prostředí. Analytik společnosti Gartner Nader Henein upozornil, že při současném tempu zavádění nových AI funkcí jsou podobné chyby do značné míry nevyhnutelné. Organizace podle něj často nemají dostatek času ani nástrojů na to, aby každou novou schopnost AI nástrojů adekvátně začlenily do svých governance a compliance rámců. Tlak na rychlou adopci, podpořený silným marketingem a konkurenčním prostředím, navíc omezuje ochotu firem nové funkce preventivně vypínat do doby, než budou plně vyhodnocena jejich rizika.

Podobně se vyjádřil i profesor Alan Woodward z University of Surrey, který upozornil na nutnost navrhovat tyto nástroje jako „private-by-default“ a zpřístupňovat je na principu opt-in. Podle něj je třeba počítat s tím, že při rychlém vývoji a integraci generativní AI do klíčových podnikových systémů se chyby objeví, a to i bez úmyslu porušit bezpečnostní pravidla. Riziko neúmyslného úniku dat tak nelze zcela eliminovat, pouze systematicky řídit.

Pro organizace, které Copilot nebo obdobné nástroje nasazují, je incident připomínkou, že generativní AI představuje novou vrstvu zpracování dat s vlastním rizikovým profilem. Nestačí spoléhat na existující přístupová oprávnění a DLP politiky, pokud není ověřeno, jak s nimi AI komponenta skutečně pracuje. Integrace AI do e-mailu, dokumentů a týmové komunikace zásadně mění způsob, jakým jsou data vyhledávána, agregována a interpretována. Bez důsledného testování, auditovatelnosti a jasně definované odpovědnosti může i relativně omezená chyba v kódu vyvolat významné reputační i regulatorní dopady.

Ukazuje, že při akcelerovaném zavádění generativní AI do podnikového prostředí musí bezpečnostní architektura, governance i interní kontrolní mechanismy držet krok s technologickým vývojem. V opačném případě se mohou i dobře zabezpečené systémy stát zdrojem nových, obtížně předvídatelných rizik.

Zdroj: bbc.com