Kies het model achter je loganalyses

SmartCode Relay werkt met een cloud-AI-provider via een standaard API-endpoint, een model dat lokaal op je pc draait, of het ingebouwde model. Er zijn drie opties. Je keuze bepaalt welke tekst je machine verlaat, dus lees de privacynotitie bij elke optie.

Drie manieren om een model te koppelen

Een cloud-AI-provider

Een cloud-AI-provider koppel je via een standaard API-endpoint en past bij lastige stappen, zoals het lezen van een lange reeks serverinstellingen. De prompttekst, inclusief alle bestandstekst die de agent leest, gaat naar die provider, dus haal ip-adressen van bezoekers uit geëxporteerde logs als dat kan. Check de voorwaarden van de provider. Eventuele kosten komen van de provider.

Een model op je pc

Een model dat lokaal op je pc draait past bij logs en instellingen die je liever nergens heen stuurt. Er verlaat niets de machine. Responstijd en bruikbaar contextvenster hangen af van je hardware, dus klik op Test om beide te zien voordat je het model inzet voor een lang log.

Het ingebouwde model

Het ingebouwde model is de derde keuze, naast een cloud-AI-provider en een model dat lokaal op je pc draait. Prompts gaan alleen naar het model-endpoint dat je kiest, en de privacypagina noemt de optionele netwerkfuncties die het netwerk gebruiken. Lees die eerst.

Wat de knop Test laat zien

De knop Test controleert een endpoint voordat je een analyse start. Hij toont de responstijd en het contextvenster, waaruit blijkt hoeveel logtekst en instellingen in één verzoek passen. Mislukt de test, controleer dan eerst de gegevens van het endpoint. Test opnieuw na wijzigingen.

Een model kiezen voor de taak

Gebruik een groter model voor de moeilijke delen, zoals het lezen van een lange configuratie met veel regels, en een kleiner model voor kleine wijzigingen zoals een timeoutwaarde. run_on_model stuurt één lastige stap naar een groter model, en de rest van de chat gaat verder met het kleinere. Alleen die stap verhuist.

De kwaliteit verschilt per model, dus bekijk elke diff voordat je accepteert. In de modus Ask first pauzeert de agent voor elke wijziging, en test je het resultaat met je eigen testcommando op een kopie. Modellen maken fouten.