Kies het AI-model dat je trainingscode leest

Kies welk AI-model Sigmora gebruikt: een cloudaanbieder via een API-eindpunt, een model op je eigen pc of het ingebouwde model. Druk op Test om een eindpunt te controleren voordat je aan je trainingscripts begint.

Kies waar je model draait

Cloud-AI-aanbieder

Een cloud-AI-aanbieder is de keuze wanneer een stap een groter model nodig heeft, bijvoorbeeld bij het debuggen van een lang trainingscript dat over veel bestanden loopt. Je voert een standaard API-eindpunt en je API-sleutel in. Sleutels blijven op je pc. Je prompts worden via het netwerk naar die aanbieder gestuurd, evenals de tekst van bestanden die de agent leest, dus gebruik het alleen met code en gegevens die je daar mag sturen. Gegevens in uitvoer van tools worden geredigeerd voordat ze het model bereiken. Privacy hangt af van de aanbieder die je kiest.

Lokaal pc-model

Een model dat op je eigen pc draait, is de keuze wanneer je code of gegevens het apparaat niet mag verlaten. Je wijst Sigmora naar een lokaal eindpunt op dezelfde computer, en je prompts gaan daarheen in plaats van naar een aanbieder. Met een lokaal model verlaat niets het apparaat. Snelheid en kwaliteit zijn afhankelijk van je hardware en het model dat je laadt, dus probeer het eerst op een klein script. Een zwak model kan details missen die een groter model zou opmerken, en je controleert elke diff in beide gevallen.

Ingebouwd model

Het ingebouwde model is direct bruikbaar zonder je eigen eindpunt. Installeer Sigmora, open een chat en geef het een taak. Het kan geschikt zijn voor een eerste poging, zoals het schrijven van een klein perceptron-bestand, het toevoegen van een logregel aan een trainingscript of het uitleggen van een foutmelding. Voor een moeilijkere stap, zoals een wijziging die meerdere bestanden raakt, kun je een groter model koppelen of die stap sturen met run_on_model. Je kunt op elk moment van model wisselen en je leest de diff voordat je deze accepteert.

Test je verbinding

De knop Test controleert een eindpunt voordat je erop vertrouwt. Druk erop nadat je het adres van een cloudaanbieder of een model op je pc hebt ingevoerd. Sigmora toont de responstijd en het contextvenster van dat eindpunt. Het contextvenster geeft aan hoeveel tekst, zoals een trainingscript en een logboek samen, het model in één verzoek kan lezen. Test elk eindpunt één keer. Als je 2 eindpunten hebt, druk dan op Test bij beide en vergelijk ze. Een trage respons is het waard om te weten voordat een lange chat begint, en een klein contextvenster betekent dat je de agent naar één bestand tegelijk moet wijzen. Test controleert alleen het eindpunt; het beoordeelt niet de kwaliteit van de antwoorden.

Kies de juiste modelgrootte

Een groter model is de betere keuze voor moeilijke stappen, zoals het ontwarren van een trainingslus die over veel bestanden verspreid is of het uitzoeken waarom een loss niet daalt. Een kleiner model kan voldoende zijn voor kleine bewerkingen, zoals het hernoemen van een variabele of het toevoegen van een logregel. Je kunt ze mengen: voer de chat uit op een kleiner model en gebruik run_on_model om één moeilijke stap naar een groter model te sturen. Elk model kan fout zijn. Begin klein. Schakel over op een groter model wanneer een stap keer op keer mislukt, en controleer de diff elke keer voordat je deze accepteert.

De kwaliteit varieert tussen modellen en aanbieders, dus behandel elk antwoord als een concept. In Ask first-pauzeert Sigmora voordat acties iets wijzigen en toont de diff, zodat je de exacte regels kunt lezen voordat je ze accepteert. Voer vervolgens je testopdracht uit met Shell en bekijk zelf de exitcode en de afgedrukte getallen. Auto-run voert direct uit, wat geschikt is voor kleine stappen die je al vertrouwt. Eerst controleren.