Från labbet

Nya tjänster för nya behov

AI-utvecklingen är svindlande, men vi är samtidigt i händerna på ett fåtal aktörer som dikterar villkoren för funktionaliteten. En växande skara Prototypare upplevde att ChatGPT saknade en del viktiga funktioner som både vi och våra kunder efterfrågade. Det här var 2023, innan GPT4 fanns på marknaden.

Några av våra utvecklare började undersöka hur OpenAI:s stora språkmodell (LLM) kunde integreras i den dagliga arbetsprocessen. Den mest efterfrågade funktionaliteten var gruppchatt, alltså att hela teamet kunde föra dialog tillsammans med AI i ett och samma chattfönster.

Syftet var att testa teknikens gränser och lära oss mer om hur vi skulle kunna bygga skräddarsydda lösningar för våra kunder i framtiden. Det var så idén om Taco.ai, vår egenutvecklade gruppchatt, föddes.

Taco som fick vingar

I de tidiga faserna var ChatGPT stundtals krångligt och dyrt att nyttja på arbetsplatser. Genom att skapa en tjänst som bygger på en enda API-nyckel till OpenAI, kunde vi komma bort från att hela teamet behövde betala för ChatGPT. Kostnaden skulle istället baseras på användningen.

Från att ha varit ett lekfullt pilotprojekt insåg vi snart att en riktig produkt var född. Den fick namnet Taco.ai och smögs ut på marknaden för öppen användning. En post på Reddit fick omedelbart kommentarer och spridning, vilket gav positiv uppmärksamhet. På Github lades programmet upp öppet så att vem som helst kunde fortsätta utveckla det.

Norimaki − vårt nästa steg

2024 blev starten på något som kan ses som nästa steg efter Taco. För att fortsätta anspelningen på populära maträtter döptes projektet till Norimaki – efter sushirullen.

Den här gången ville utvecklarna dyka ner i den nya RAG-tekniken, med god potential att revolutionera hur företag och organisationer använder generativ AI. RAG står för Retrival-Augmented Generation, och handlar i korthet om att skapa vektordatabaser som gör det möjligt att söka och bearbeta information i mindre fragment.

Intern superkraft

Medan Taco skapade gruppchatt-funktionaliteten, erbjöd Norimaki istället en möjlighet att bygga interna AI-agenter eller GPT:er − långt innan det var en självklarhet på marknaden.

En organisation kan med andra ord använda sitt eget dataset som kunskapsbas genom att ladda upp filer och dokument. I bakgrunden sker fortfarande ett anrop till en LLM, men det blir ett smidigare användargränssnitt och tydligare svar i en lokal miljö.

Säkrare AI med RAG

I sitt grundutförande har ChatGPT fortfarande svårt att förstå kontext och riskerar att hallucinera. Med Norimaki kan användaren istället få svar enbart utifrån sitt eget underlag, tillsammans med exakta referenser kring vilket dokument och vilken sida informationen hämtats från. En advokatbyrå skulle till exempel kunna ha användning för en intern GPT som bygger sina svar på tusentals dokument och rättsfall, utan risk för integritetsproblematik.

För Prototyps kunder finns det med andra ord en hel del intressanta möjligheter. Det finns anledning att tro att RAG-tekniken bara kommer att växa framöver, och våra utvecklare jobbar nu vidare med ytterligare iterationer för att undersöka potentialen med verktygen.

Kontakta oss gärna om du vill testa Taco och Norimaki − eller om du har en egen AI-idé som du vill diskutera!