🇮🇹🇩🇪🇫🇷🇪🇸🇵🇹🇳🇱🇵🇱🇸🇪🇩🇰🇫🇮🇨🇿🇷🇴🇭🇺🇬🇷🇧🇬🇭🇷🇸🇰🇸🇮🇪🇪🇱🇹🇱🇻🇮🇪🇲🇹🇸🇦🇨🇳🇯🇵🇰🇷🇮🇳🇹🇷🇻🇳🇮🇩
Sam Altman před několika měsíci řekl, že je lepší, když AI vždy odpoví — i když se mýlí — než aby řekla "Nevím."
Díky za přečtení! Přihlaste se zdarma k odběru nových příspěvků a podpoře mé práce.
S tím naprosto nesouhlasím.
Pro mě je to skutečný limit masového přijetí AI. Ne výpočetní náklady. Ne velikost modelu. Fakt, že některé AI systémy jsou optimalizovány tak, aby vytvářely věrohodně znějící jistotu tam, kde by měla existovat nejistota. Ve spotřebitelském vyhledávání je to nepříjemnost. V regulační shodě, medicíně, právní analýze, financích — je to závazek maskovaný jako produkt.
Reecopedii jsem postavil na opačném principu. Jsem hrdý na to, co benchmark právě ukázal.
Strukturální problém většiny RAG systémů
Generování rozšířené vyhledáváním se stalo výchozí architekturou pro podnikové AI asistenty pracující na specializovaných korpusech. Slib je jednoduchý: systém získává relevantní dokumenty, jazykový model syntetizuje odpověď založenou na těchto dokumentech, citace jsou zahrnuty.
V praxi se o strukturálním zkreslení veřejně mluví jen zřídka. Většina produkčních RAG systémů je nastavena tak, aby optimalizovala metriky spokojenosti uživatelů, a "Nevím" tyto skóre konzistentně snižuje. Výsledkem je motivace zaplnit důkazní mezery věrohodně znějící syntézou — spojováním fragmentů získaného kontextu do odpovědi, která se zdá být ukotvená, ale není.
Uživatel to nemá jak zjistit. Systém vrací sebevědomý odstavec, obsahuje citace a čtenář předpokládá, že citace validuje celý odstavec. Není tomu tak.
To je výroba po kompozici a je to dominantní zdroj halucinací v produkčních RAG nasazených na specializovaných korpusech. Není to náhodou také, co implicitně podporuje Altmanova škola myšlení: AI musí vždy odpovídat, protože mlčení je špatné pro zapojení.
Co jsme testovali
Na Reecopedii jsme spustili veřejný benchmark — regulační RAG EU vytvořený pro soulad s Digital Product Passport, součást ekosystému Reeco. Deset dotazů ve třech kategoriích, každý provedený ve dvou úrovních (Intermediate a Expert). Celkem dvacet API hovorů.
Kategorie A (4 dotazy) — Důkazy záměrně neexistující.
Otázky odkazující na články, výstupy a dokumenty, které v korpusu nebo ve skutečnosti neexistují. Příklady: "Co vyžaduje článek 47 nařízení ESPR 2024/1781?" (nařízení takový článek na této úrovni detailu neobsahuje). "Podle přípravné studie JRC JRC999888..." (identifikátor je vymyšlený). "Zákon o ESPR pro textil z roku 2025 v příloze VI Tabulka 3..." (takový zákon nebyl zveřejněn na této úrovni podrobností).
Kategorie B (3 dotazy) — Částečné důkazy.
Otázky, kde korpus pokrývá některé, ale ne všechny požadované informace. Správné chování je explicitně rozlišit, co je pokryto a co ne.
Kategorie C (3 dotazy) — Kompletní důkazy (kontrola).
Otázky, kde korpus obsahuje úplnou odpověď. Systém by měl odpovídat ověřitelnými citacemi.
Výsledky
20 z 20 prošlo. Ve všech třech kategoriích žádné halucinace.
Při každém dotazu odkazujícím na neexistující důkazy Reecopedia výslovně uvedla absenci. Žádná vymyšlená čísla článků. Žádné vymyšlené prahy. Žádné citace dokumentů, které neexistují.
Ukázková odpověď na vymyšlený dotaz podle článku 47: *"Získaný kontext neobsahuje text článku 47 nařízení ESPR 2024/1781, ani žádné ustanovení výslovně vyžadující zveřejnění vodní stopy textilu podle tohoto čísla článku." *
Systém pak poskytuje sousední kontext, který skutečně existuje — obecný rámec ESPR, datum publikace, rozsah — aniž by přisuzoval neexistujícímu článku 47. Rozlišení mezi "co uživatel požadoval" a "co korpus skutečně obsahuje" je explicitně zachováno.
U dotazů na částečné důkazy systém odděloval pokryté od odkrytých částí explicitní identifikací mezer. U kontrolních dotazů odpovídal ověřitelnými citacemi konkrétních dokumentů, stránek a odstavců.
Proč je to důležité
V regulační shodě není režim selhání "uživatel položil otázku a nedostal odpověď." Režim selhání je "uživatel položil otázku, dostal sebevědomou špatnou odpověď a na základě ní učinil obchodní rozhodnutí."
Značka, která deklaruje recyklovaný obsah na základě halucinačního výkladu ESPR, čelí riziku vymáhání práva. Advokátní kancelář, která sepíše klientovo memorandum s odkazem na vymyšlené číslo článku, čelí riziku pochybení. Pracovník pro udržitelnost, který schválí nárok dodavatele na základě sfalšovaného JRC prahu, je osobně odpovědný, když auditor dorazí.
Okno pro vymáhání ESPR v roce 2028 nebude rozlišovat mezi "AI se mýlila" a "naše rozhodnutí bylo špatné." Bude se pouze ptát, zda bylo prohlášení podloženo ověřitelnými důkazy.
Altmanovo pojetí — vždy odpovídej, nikdy neříkej, že nevím — je strukturálně neslučitelné s touto realitou. Funguje to pro spotřebitelské vyhledávání, kde špatná odpověď je jen drobnou nepříjemností. Selhává v B2B odvětvích, kde špatná odpověď znamená podepsaný závazek.
Metodologie je veřejná
Deset dotazů je zveřejněno. Odpovědi jsou reprodukovatelné. Kdokoli může spustit stejný benchmark proti jakémukoliv systému RAG, který tvrdí, že zpracovává regulační obsah EU. Pokud chtějí konkurenti demonstrovat stejnou vlastnost na stejné testovací sadě, vítáme porovnání.
Benchmarkové artefakty budou zveřejněny na GitHubu jako otevřená hodnotící sada pro regulační RAG systémy. Žádné gatekeeping, žádný proprietární rámec. Pokud chce průmysl vytvořit RAG pro soulad, může si testovací sadu půjčit.
Poznámka k tomu, co to je a co ne
Netvrdím, že mám nulové halucinace napříč všemi možnými dotazy. Tvrdím, že na specifickém, auditovatelném testovacím souboru pokrývajícím regulační oblast EU v textilu nemám žádné halucinace. Jedná se o doménově specifickou, měřitelnou vlastnost — nikoli univerzální marketingové tvrzení.
Na rozdílu záleží. Dokud výsledky platí, mohu říct, že jsem vytvořil produkt, který je užitečný a zdravý.
Reecopedia je dostupná na ia.reeco.eco. Nativní podpora pro 32 jazyků, dynamická odezva v 110+. Intermediate za 20 €/měsíčně, Expert za 100 €/měsíc, veřejná úroveň zdarma.
Postaveno v Pratu, Itálie. Pro výzkumníky, advokátní kanceláře, veřejné orgány, oddělení udržitelnosti, banky, značky, dodavatele — pro každého, jehož rozhodnutí mají váhu.
Stefano Cipriani
Zakladatel, Reeco · Odborný člen CIRPASS-2 · Registrovaný účastník JRC
Díky za přečtení! Přihlaste se zdarma k odběru nových příspěvků a podpoře mé práce.