Forskare på University of North Carolina at Chapel Hill har utvecklat en ny teknik som heter Task-Circuit Quantization (TaCQ). Den gör det möjligt att minska storleken på stora språkmodeller rejält. Ända ner till 2-bitars precision utan att modellerna förlorar sin förmåga att ge bra svar.
Vad handlar TaCQ om?
När man gör AI-modeller mindre, till exempel för att de ska fungera på mobiltelefoner eller andra små enheter, brukar det ofta gå ut över kvaliteten. Traditionella metoder har haft svårt att få modeller att fortsätta prestera bra om man sänker precisionen till bara 2 eller 3 bitar.
Men TaCQ löser detta genom att ta reda på vilka delar av modellen som är viktigast. Hög precision behålls där, medan mindre viktiga delar får lägre precision. Det gör att modellen både blir mindre och ändå kan jobba nästan lika bra som tidigare.
Hur bra fungerar det?
I tester, som till exempel på frågesamlingen GSM8k (en vanlig test för att mäta AI:s förmåga att lösa matteproblem i textform), presterade TaCQ mycket bättre än tidigare metoder. Faktum är att noggrannheten ökade med 16 procentenheter jämfört med en stark tidigare metod som heter SliM-LLM.
Det här betyder att modeller kan användas på enheter med lite kraft utan att det blir stora försämringar.
Varför är det viktigt?
Med hjälp av TaCQ kan vi använda avancerade AI-modeller direkt på till exempel telefoner, sensorer eller sjukhusutrustning – utan att behöva skicka data till stora servrar långt borta. Det gör att informationen stannar lokalt, vilket både kan skydda användarnas privatliv och göra att systemen svarar snabbare.
TaCQ är ett nytt sätt att göra stora språkmodeller mindre och snabbare utan att offra mycket av kvaliteten. Det kan öppna upp för att fler prylar och system kan använda avancerad AI, även där det tidigare inte varit möjligt.
Källor:
