Vad är en LLM? Så fungerar språkmodeller för företag

Hur en språkmodell faktiskt fungerar

En LLM delar upp text i tokens — ordbitar. Under träningen har den fått läsa enorma textmängder och lärt sig vilka tokens som brukar följa på varandra i vilket sammanhang. När ni skriver en fråga beräknar modellen, token för token, vad som är det mest sannolika fortsättningen.

Det finns ingen databas med fakta inuti modellen och ingen uppslagning. Det som finns är vikter — miljardtals numeriska värden som kodar mönster i språket. Det förklarar både styrkan och svagheten: modellen är extremt bra på språkets form och opålitlig när det gäller specifika sakuppgifter.

• Token: en ordbit. ”automatisering” kan bli tre till fyra tokens.
• Kontextfönster: hur mycket text modellen kan ha i minnet samtidigt.
• Temperatur: hur mycket variation som tillåts i svaret.

Vad en LLM är bra på

Utgå från att en LLM är ett språkverktyg, inte ett faktaverktyg. Uppgifter där underlaget finns i frågan eller i bifogad text löses nästan alltid bra.

Var en LLM felar — och varför

En LLM formulerar alltid ett svar, även när underlag saknas. Det kallas hallucination och är inte en bugg utan en direkt följd av hur tekniken fungerar. Modellen väljer det som ser rimligt ut, inte det som är sant.

Räkning är en annan svaghet. Modellen hanterar siffror som text, inte som tal. För beräkningar ska den anropa en kalkylator eller ett system — inte räkna själv.

• Hallucination: trovärdigt formulerade felaktigheter.
• Kunskapsgräns: modellen känner inte till händelser efter sin träning.
• Ingen kunskap om er verksamhet utan att den kopplas till era källor.
• Opålitlig aritmetik och sammanräkning.

Så gör man modellen användbar i ett företag

Den vanligaste och billigaste lösningen är RAG — modellen får först söka fram relevanta utdrag ur era dokument och svarar sedan utifrån dem, med källhänvisning. Finjustering av modellen behövs sällan, och nästan aldrig för att tillföra fakta.

1. 1Definiera en avgränsad uppgift med tydligt rätt och fel.
2. 2Peka ut vilka källor som får användas som underlag.
3. 3Bygg sökningen som hämtar rätt utdrag ur källorna.
4. 4Sätt en uppsättning testfrågor med förväntade svar.
5. 5Mät kvaliteten, justera, och först därefter bredda användningen.

LLM, AI, maskininlärning — vad är skillnaden?

Begreppen blandas ofta ihop i upphandlingar och offerter. Skillnaden har praktisk betydelse eftersom de kräver olika mycket data och olika sorts arbete.

Vad det kostar att använda en LLM

Modellkostnaden räknas i tokens, in och ut. För de flesta interna användningsfall är det en mindre post — några hundralappar till några tusen kronor per månad. Det som kostar är integrationer, utvärdering och förvaltning.

Ett vanligt dyrt misstag är att skicka hela dokumentmassan i varje anrop. Med sökning, filtrering och cachning går kostnaden ner rejält, samtidigt som svaren blir mer träffsäkra.

Vanliga misstag vi ser

Nästan alla misslyckade LLM-projekt vi kommer in i har gjort minst två av följande fem saker.

• Byggt en bred assistent utan avgränsad uppgift.
• Förväntat sig att modellen ”kan” verksamhetens data utan koppling.
• Finjusterat modellen för att tillföra fakta — RAG hade varit rätt.
• Hoppat över utvärdering, så ingen vet om svaren är bättre eller sämre än förra veckan.
• Skickat känsliga personuppgifter utan reglerat dataflöde.

Erfarenheten bakom den här guiden

AI-byrån drivs av utvecklarna bakom Empireweb, som byggt system för svenska företag sedan 2015. Vi har satt LLM-lösningar i drift inom kundservice, ekonomi, e-handel och offentlig verksamhet, och underhåller dem över tid — vilket är där de flesta problem visar sig.

Den viktigaste lärdomen: en LLM blir aldrig bättre än underlaget den får läsa och de gränser den får arbeta inom.