Vyber model, který stojí za tvými analýzami logů

SmartCode Relay funguje s cloudovým poskytovatelem AI přes standardní koncový bod API, s modelem běžícím lokálně na tvém počítači, nebo s vestavěným modelem. Možnosti jsou tři. Tvá volba určuje, jaký text opouští stroj, proto si přečti poznámku o soukromí pod každou možností.

Tři způsoby, jak připojit model

Cloudový poskytovatel AI

Cloudový poskytovatel AI se připojuje přes standardní koncový bod API a hodí se na těžké kroky, například čtení dlouhé sady nastavení serveru. Text promptu, včetně textu souborů, které agent čte, jde k tomuto poskytovateli, takže z exportovaných logů odstraň IP adresy návštěvníků, kdykoli to jde. Zkontroluj podmínky poskytovatele. Případné poplatky účtuje poskytovatel.

Model na tvém počítači

Model běžící lokálně na tvém počítači se hodí pro logy a nastavení, která radši nikam neposíláš. Z počítače nic neodchází. Doba odezvy a využitelné kontextové okno závisejí na tvém hardwaru, takže klikni na Test a obojí si prohlédni, než modelu svěříš dlouhý log.

Vestavěný model

Vestavěný model je třetí možnost vedle cloudového poskytovatele AI a modelu běžícího lokálně na tvém počítači. Prompty jdou jen na koncový bod modelu, který zvolíš, a stránka o soukromí uvádí volitelné síťové funkce, které využívají síť. Přečti si ji jako první.

Co ukazuje tlačítko Test

Tlačítko Test ověří koncový bod dřív, než zahájíš analýzu. Ukáže dobu odezvy a kontextové okno, z čehož poznáš, kolik textu logů a nastavení se vejde do jednoho požadavku. Pokud test selže, nejdřív zkontroluj údaje koncového bodu. Po úpravách otestuj znovu.

Výběr modelu pro úkol

Pro těžké části, třeba čtení dlouhé konfigurace s mnoha pravidly, použij větší model a pro drobné úpravy, jako je hodnota timeoutu, menší. run_on_model pošle jeden těžký krok většímu modelu a zbytek chatu pokračuje s menším. Mění se jen tento krok.

Kvalita se mezi modely liší, proto si před přijetím prohlédni každý diff. V režimu Ask first se agent zastaví před každou změnou a výsledek testuješ vlastním testovacím příkazem na kopii. Modely dělají chyby.