Persoonlijke en lokaal draaiende AI-chatbot gratis uitproberen, dankzij GPU-reus Nvidia
Gebruikers die met generatieve AI (genAI) willen experimenteren, kunnen dat nu ook makkelijker op een eigen pc. Chipmaker Nvidia biedt een demo-app waarmee een AI-model (large language model, LLM) lokaal valt te draaien, in een gepersonaliseerde opstelling. Een RTX-videokaart van Nvidia zorgt voor versnelde uitvoering van de AI-software.
Nvidia
Officieel lijken de systeemvereisten nog mee te vallen. Naast een GPU (graphics processing unit, ofwel videochip) van Nvidia in specifieke reeksen is 16 gigabyte (GB) aan geheugen nodig, plus Windows 11. De vereiste GPU is een videokaart in de RTX30- of RTX40-serie óf de meer op AI gerichte Ampere- of Ada-generaties. Die videokaarten moeten dan minstens 8 GB aan geheugen hebben.
Eigen, lokale data
Een praktijktest door The Verge wijst uit dat een krachtige pc met Intel-topmodel processor (Core i9) en 64 GB geheugen er wel een half uur voor nodig had om de gratis downloadbare demo-app (van 40 GB) te installeren. Daarbij wordt dan een webserver plus een Python-instance geïnstalleerd, waarna dan de LLM's Mistral of Llama 2 worden benut om AI-taken uit te voeren.
Dat AI-werk kan dan bestaan uit het doorspitten, analyseren en samenvatten van diverse soorten content. Dit loopt uiteen van eigen, lokaal opgeslagen documenten tot openbare YouTube-video's. Gebruikers kunnen de lokaal draaiende AI-app dan opdrachten geven en vragen stellen, net zoals bij cloudgebaseerde genAI-toepassingen als OpenAI's ChatGPT, Microsoft Copilot en Google Gemini (voorheen Bard).
Reacties
Om een reactie achter te laten is een account vereist.
Inloggen Word abonnee