AI v byznysu uspěje jen ve 44 % situací, přinese Salesforce spásu?

Tým Salesforce AI Research představil tři nové nástroje pro firmy, které chtějí nasadit umělou inteligenci. Jde o vylepšenou technologii pro čištění dat, nástroje pro bezpečné testování AI agentů a nový systém pro měření jejich výkonu.

Account Matching, poháněný malými i velkými jazykovými modely, již pomáhá podnikům sjednocovat miliony roztříštěných záznamů. Tým také uveřejnil rozšířený výzkum CRMArena-Pro, který umožňuje firmám simulovat podniková prostředí pro lepší testování AI agentů. Představil také veřejně dostupný benchmarkový nástroj pro porovnávání různých AI řešení v reálných obchodních situacích.

Zatímco velká část technologického průmyslu stále spekuluje o příchodu obecné umělé inteligence (AGI), tým Salesforce AI Research se místo teoretické vzdálené budoucnosti zaměřuje na praktický výzkum, který pomáhá řešit problémy, kterým IT ředitelé čelí už dnes. 

Cílem těchto nástrojů je připravit firmy na to, co Salesforce nazývá Enterprise General Intelligence (EGI). Jednotliví AI agenti zde pracují s kvalitními daty, lze je hodnotit podle podnikových výsledků a autonomně pomáhají zaměstnancům. Firmy tak mohou nasadit AI agenty s důvěrou, že budou pracovat spolehlivě a přinášet konkrétní obchodní výsledky.

Vylepšení konsolidace dat

Salesforce AI Research a Data Cloud týmy vylepšily technologii Account Matching, která pomocí AI agentů rozpoznává a sjednocuje duplicitní záznamy v podnikových databázích. Během prvního měsíce použití dosáhl jeden zákazník prostřednictvím své firemní implementace sjednocení více než milionu účtů s 95% úspěšností při párování a zkrátil průměrný čas zpracování o 30 minut.

Automatizací 95 % pracovního zatížení a směrováním pouze nejsložitějších 5 % případů k lidským expertům firma zjednodušila spolupráci mezi odděleními a urychlila spolehlivé sdílení dat. Celé řešení bylo implementováno bez nutnosti složitého programování, což snížilo náklady a výrazně zlepšilo efektivitu.

Vylepšený Account Matching využívá malé i velké jazykové modely k autonomnímu identifikování a sjednocování účtů napříč rozptýlenými a nekonzistentními datovými sadami. Systém používá pokročilá pravidla pro rozlišení identity založená na kombinaci názvu společnosti, webových stránek, adresy nebo telefonního čísla. Místo zacházení s „Příklad Společnosti, s.r.o.“ a „Příklad Spol.“ jako se samostatnými entitami nyní může systém pomocí AI proaktivně rozpoznat, že jde o stejnou společnost, a konsolidovat je do jediného autoritativního záznamu. Na rozdíl od statických systémů založených na pravidlech, které vyžadují náročnou manuální konfiguraci, Account Matching sjednocuje miliony záznamů v reálném čase s měřitelnými vylepšeními přesnosti.

Tato technologie řeší častý problém podniků. Jejich data jsou totiž zřídka čistá. Zákaznické záznamy jsou duplikovány napříč odděleními, kritická pole zůstávají prázdná a stejná společnost se může objevit půl tuctu různých způsobů. Tyto nesrovnalosti nutí týmy pracovat s protichůdnými informacemi a zpomalují přijetí umělé inteligence.

Díky Account Matching získávají firmy čistá, sjednocená data, která napájí AI agenty a tím umožňují chytřejší automatizaci, bohatší personalizaci a rychlejší rozhodování ve velkém měřítku.

Testování v simulovaném prostředí

Salesforce AI Research představil rozšířenou verzi svého testovacího systému pro AI agenty, CRMArena-Pro. Na rozdíl od původní verze CRMArena, kde byly testovány pouze jednoduché dotazy zákazníků, nová verze simuluje dlouhé konverzace, B2B procesy a testuje, zda AI prozradí citlivé údaje. Metodologie je veřejně dostupná a lze ji využít pro vytvoření vlastního testovacího prostředí.

Použitím syntetických dat, bezpečnými spojeními k relevantním systémům a přísnými ochranami osobních údajů vytváří CRMArena-Pro bezpečné simulované prostředí, které měří nejen základní funkčnost AI agentů, ale i jejich spolehlivost a konzistenci v reálných podnikových situacích. Simulované prostředí funguje jako digitální kopie firmy, kde lze každý proces, od plánování prodeje po vyřizování reklamací, bezpečně testovat před ostrým nasazením.

Potřeba takových nástrojů vychází z výzev, kterým čelí IT ředitelé. Silný a konzistentní datový základ umožňuje podnikům důvěřovat svým AI agentům, že budou jednat správně, ale další výzvou je porozumět tomu, jak tito agenti budou fungovat v reálných obchodních scénářích. Nasazení agenta na podnikové úrovni nese významná rizika. V sázce jsou zákaznické vztahy, příjmy a provozní efektivita. Simulovaná testovací prostředí se proto stávají zásadním nástrojem pro firmy, které chtějí tato rizika zmírnit.

Hodnocení firemních AI agentů

Společnost Salesforce také vyvinula první veřejně dostupný benchmark, který pomáhá vedoucím pracovníkům porovnat výkon různých AI řešení a učinit informovaná rozhodnutí o nasazení AI agentů ve svých firmách, CRM Agentic Benchmark. 

Na základě původního LLM Benchmark pro CRM nyní aktualizovaný CRM Agentic Benchmark hodnotí jak výkon velkých jazykových modelů, tak výkon podnikových agentů postavených na těchto modelech. Tento nový porovnávač nově přidal i klíčovou metriku udržitelnosti, která se stává důležitým faktorem při rozhodování o zavedení AI.

Salesforce AI Research také představil dva pokročilé testovací systémy MCP-Eval a MCP-Universe, které odhalují skutečné schopnosti AI agentů v praktických obchodních situacích. MCP-Eval umožňuje firmám rychle testovat mnoho agentů najednou na tisících automaticky vygenerovaných scénářích, zatímco MCP-Universe prověřuje agenty na složitějších, ručně navržených úkolech s reálnými daty z Google Maps, GitHubu či finančních trhů. Testy odhalily překvapivé výsledky. I nejpokročilejší AI modely jako GPT-5 uspějí pouze ve 44 % případů, což ukazuje značné mezery mezi obecnými schopnostmi AI a jejich praktickým nasazením v podnicích.

Mezi hlavní problémy patří obtíže s dlouhým kontextem, kdy modely ztrácejí přehled o informacích ve složitých vstupech, a problémy s neznámými nástroji, kdy se nedokážou plynule přizpůsobit neznámým systémům. Tyto nástroje tak firmám pomáhají zjistit, kde agenti selhávají, a realisticky posoudit, kdy jsou jejich AI agenti skutečně připraveni na ostré nasazení.

Potřeba takovýchto nástrojů vychází z nedostatků současných řešení. Většina existujících benchmarků je navržena pro akademické nebo spotřebitelské případy použití, nikoli pro složité potřeby podniků, a zřídka hodnotí AI agenty vytvořené speciálně pro podnikání. Také přehlížejí více rozhodovacích faktorů, které musí IT ředitelé a vedoucí technologií zvažovat, kde úspěch závisí na více než jedné schopnosti nebo funkci.

Jakmile jsou simulovaná prostředí na místě a agenty lze spolehlivě testovat, je zásadní nejen je hodnotit, ale také používat benchmarky, které průběžně sledují výkon agentů a aktualizují své hodnocení, aby agenti fungovali stále lépe. Podniky potřebují jasné, objektivní způsoby, jak určit, zda agenti pracují přesně, efektivně, nákladově efektivně, bezpečně a udržitelně v reálných obchodních kontextech.

Bez správně připravených dat, bezpečného testování a měření výkonu mohou i nejpokročilejší AI agenti firmy zklamat. Tým AI Research společnosti Salesforce proto pokračuje ve vývoji nových nástrojů, které mohou firmám pomoci nasadit AI agenty spolehlivě a s měřitelnými výsledky místo pouhých experimentů.

Zdroj: Salesforce

Zdroj ilustračního obrázku: vygenerováno pomocí umělé inteligence