Jev AI: Revolúcia modelov System One pre automatizované rozhodovanie

Pravdepodobne ste si zvykli predstavovať umelú inteligenciu ako chatbota, ktorý za vás píše básne alebo zhŕňa e-maily, ale existuje nový trend, ktorý úplne obchádza slová. TypeSafe AI spustila Jev , nástroj, ktorý búra zaužívané postupy, pretože nenapíše ani jednu vetu; jeho poslaním je prinášať technické a pravdepodobnostné rozhodnutia, ktoré dokáže akýkoľvek počítačový program okamžite spracovať bez akýchkoľvek problémov.

Predstavte si, že máte systém, ktorý spracováva tisíce požiadaviek a nepotrebujete umelú inteligenciu, aby vám vysvetlila, prečo je tiket urgentný; stačí, aby povedala „urgentné: áno“. Jev sa presne umiestňuje do tejto medzery medzi rigidným kódom a pomalými jazykovými modelmi a ponúka to, čo nazývajú modely Systému Jeden , inšpirované psychológiou rýchleho a intuitívneho myslenia Daniela Kahnemana.

Súvisiaci článok:

Čo je New Relic a ako ho používať na monitorovanie výkonu

Čo presne je Jevova umelá inteligencia?

Na rozdiel od gigantov ako GPT alebo Claude, ktorí uvoľňujú tokeny jeden po druhom na vytvorenie odseku, Jev funguje ako volanie inteligentnej funkcie . Predáte mu stav (ktorý môže byť JSON, text alebo zoznam) a sadu preddefinovaných otázok a model vráti štruktúrované hodnoty. To znamená, že nedochádza k žiadnym chybám typu ani problémom s formátovaním, pretože odpoveď je viazaná na možnosti, ktoré ste predtým vybrali.

Architektúra tohto modelu využíva špecifickú tréningovú metódu s názvom Posilňovacie učenie pre kalibrované rozhodnutia (RLCD) . Cieľom nie je, aby bola umelá inteligencia sympatická alebo presvedčivá, ale skôr aby jej pravdepodobnosti boli úprimné a kalibrované. Ak Jev povie, že si je na 90 % istý odpoveďou, toto číslo by malo odrážať skutočnú presnosť – čo je kľúčové, keď chcete, aby softvér konal autonómne bez toho, aby človek musel kontrolovať každý krok.

Tri základné nástroje: primitívy

Pre zjednodušenie a efektívnosť je Jevovo API založené na troch typoch otázok, ktoré mu umožňujú pokryť takmer akúkoľvek potrebu klasifikácie:

• Voľba: Umožňuje vám vybrať si jednu možnosť zo skupiny až 255 možností. Zobrazí vám nielen víťaznú možnosť, ale aj mapu pravdepodobnosti všetkých možností a skóre spoľahlivosti. Zahŕňa aj možnosť „iné“, aby sa zabránilo tomu, aby model vynútil nesprávnu odpoveď.
• Skóre: Ohodnoťte niečo na odstupňovanej stupnici (od 2 do 10 úrovní). Zaujímavé je, že vracia desatinné hodnoty (napríklad 1.4), čo vám umožňuje zachytiť... nuansy medzi kategóriami ktoré by celé číslo ignorovalo.
• Noul (Boolovské vyhodnotenie): Je to zjednodušená verzia odpovede áno alebo nie, ktorá vracia pravdepodobnosť medzi 0 a 1.

Najsilnejšou funkciou je, že Jev dokáže odpovedať na všetky tieto otázky v jednom paralelnom kroku . Ak potrebujete poznať kategóriu správy, úroveň hnevu zákazníka a či žiada o vrátenie peňazí, Jev vám poskytne všetky tri odpovede naraz, takže pridanie ďalších otázok sotva ovplyvní čas odozvy.

Výkon, náklady a detaily

Pri pohľade na čísla sa TypeSafe AI môže pochváliť ohromujúcou rýchlosťou s latenciou od 70 do 500 milisekúnd . V porovnaní s Frontier LLM, ktorým môže vypracovanie odpovede trvať niekoľko sekúnd, je Jev absurdne rýchly. Okrem toho je kľúčovou výhodou cena: stojí iba 0,042 USD za milión vstupných tokenov a výstupy sú úplne zadarmo, pretože negenerujú nový text.

Tieto čísla by sa však mali brať s rezervou. Mnohé z benchmarkov vykonal samotný tím TypeSafe, čo môže viesť k určitému skresleniu. Napriek tomu je prísľub nulových chýb schémy hmatateľný: je matematicky nemožné, aby Jev vrátil formát, ktorý ste nedefinovali, čím sa eliminuje potreba zložitých validácií v kóde.

Kde Jevova umelá inteligencia žiari a kde zlyháva?

Jev je kráľ, keď musíte robiť opakujúce sa, rozsiahle rozhodnutia o neštruktúrovaných dátach. Je ideálny na smerovanie potenciálnych zákazníkov , moderovanie obsahu, triedenie technickou podporou alebo dokonca vytváranie ochranných prvkov na monitorovanie výstupu iných, väčších modelov umelej inteligencie. Je tiež veľmi užitočný pri webovej navigácii, kde dokáže rozhodnúť, na ktorý prvok na stránke kliknúť, bez potreby popisu obrazovky.

Nesnažte sa ho však používať na všetko. Jev nie je vhodný na chatovanie, programovanie ani vysvetľovanie svojho uvažovania. Má jasné obmedzenia v matematike a počítaní znakov a nespracováva dobre dátumy ani hexadecimálne hodnoty. Okrem toho mu chýbajú znalosti o svete; vie iba to, čo zadáte do stavu dotazu. Ak potrebujete komplexné uvažovanie alebo kreatívne generovanie, mali by ste sa držať modelu System 2, ako je Claude alebo GPT.

Integrácia do vývojového ekosystému

Pre programátorov je integrácia pomerne jednoduchá. Oficiálne SDK existujú pre JavaScript, TypeScript a Python a hoci pre PHP neexistuje, stačí jednoduchá požiadavka POST. Okrem toho je Jev už dostupný vo Vercelovom AI Gateway, čo výrazne zjednodušuje správu kľúčov a fakturáciu, ak už toto prostredie používate.

Veľmi šikovný vzorec pre použitie Jeva je vytvorenie rozhodovacej kaskády . Najprv Jev lacno a rýchlo filtruje a klasifikuje požiadavku; potom deterministický kód spracováva jednoduchšie prípady a iba v prípadoch, keď Jev indikuje nízku spoľahlivosť, je požiadavka eskalovaná na nákladný model uvažovania alebo ľudského operátora. To optimalizuje rozpočet a znižuje celkovú latenciu systému.

Tento nástroj nanovo definuje vzťah medzi umelou inteligenciou a softvérom tým, že z inteligencie robí infraštruktúrnu súčasť, a nie len partnera. Elimináciou generovania textu a zameraním sa na pravdepodobnostnú kalibráciu umožňuje Jev strojom robiť rýchle a spoľahlivé rozhodnutia za zanedbateľné náklady, čím otvára dvere automatizáciám, ktoré boli predtým neúmerne drahé alebo pomalé.