Opera webbläsaren låter dig köra 150 lokala LLM AI-modeller

Opera lokala LLM
Bild från Opera

⚙️ Opera lägger till experimentellt stöd för 150 lokala LLM-varianter från 50 familjer av modeller till sin Opera One-webbläsare, en första i större webbläsare.
🔍Användare kan nu använda generativ AI utan att skicka data till en server genom att behålla sina data lokalt på sin enhet
📱Opera One Developer-användare kan välja och ladda ner den lokala LLM-modell de väljer, vilket kräver 2-10 GB lokalt lagringsutrymme per variant.
💡Introduktionen av lokala LLM:er gör det möjligt för Opera att utforska det lokala AI-utrymmet och förbättra användarupplevelserna inom detta framväxande område.
🌐Operas tidigare innovationer inom AI-området inkluderar lanseringen av Opera One med Aria AI och fokus på användarcentrerade surfupplevelser.

Opera webbläsaren är verkligen innovativ när det kommer till AI-funktioner genom att integrera 150 lokala AI-modeller ger Opera One användarna möjlighet att använda stora språkmodeller lokalt i webbläsaren utan att behöva skicka information till en server. Denna funktion ökar inte bara användarnas integritet och datasäkerhet utan kan också förbättra hastigheten då modellerna körs lokalt.

Denna utveckling har gjort Opera till den första stora webbläsaren med inbyggd tillgång till lokala AI-modeller. Genom att erbjuda stöd för modeller som Llama från Meta Platforms, Gemma från Google och Mixtral från Mistral AI ger Opera One användarna ett brett urval av AI-möjligheter att utforska och dra nytta av. Detta gör det möjligt för utvecklare att integrera och använda olika AI-modeller i sin webbläsningserfarenhet på ett smidigt sätt.

En av de mest imponerande AI-funktionerna som Opera erbjuder är Aria, deras egna webbläsarassistent baserad på flera stora språkmodeller. Aria är utformad för att förstå och svara på användares frågor genom naturligt språk och är en del av Operas satsning på enhetlig och innovativ webbläsarteknologi.

Vad är skillnaden mellan att använda lokala AI-modeller jämfört med serverbaserade modeller?

Att använda lokala AI-modeller innebär att modellerna körs på den egna enheten, vilket ger fördelar som snabbhet och möjligheten att jobba offline. Å andra sidan kräver serverbaserade modeller en internetanslutning och kan vara mer krävande för enhetens prestanda. Lokala AI-modeller är idealiska för mindre uppgifter och ger användaren kontroll över sina data, medan serverbaserade modeller är lämpliga för storskaliga eller komplexa beräkningar och ger tillgång till kraftfulla servrar för att hantera tunga uppgifter.

Opera LLM modeller
Bild från Opera

En specifik skillnad mellan AI-servrar och AI-arbetsstationer att servrar oftast kör ett OS som är utformat för serveranvändning, medan arbetsstationer använder ett OS som är avsett för arbetsstationer. Detta innebär att lokala AI-modeller kan vara fördelaktiga för mindre projekt där användaren vill undvika beroendet av externa servrar och vill ha kontroll över sin egen processorkraft.

Genom att använda lokal såväl som serverbaserad AI kan användare dra nytta av olika fördelar beroende på sina specifika behov och projektkrav. Valet mellan lokal och serverbaserad AI beror på projektets omfattning, tillgängliga resurser och önskade funktioner.

opera – ai-feature-drops-local-llms