Ollama

Points clés

Ollama permet d'utiliser localement plusieurs grands modèles de langage (LLM) :

• Sous forme d'une API CLI (en lignes de commande)

ollama run llama3.2

• Sous forme d'une API REST/JSON :

curl http://localhost:11434/api/generate -d '{
  "model": "llama:3.2",
  "prompt": "Donne moi une définition courte d'un LLM"
}'

Quelques modèles

Avec un GPU disposant de 6Go de RAM (RTX 3060), les modèles suivants fonctionnent de manière fluide :

• llama3.2:3b (Facebook)
• gemma3:4b (Google)
• mistral:7b

Ressources

Officielles :

• https://ollama.com est le site officiel
• https://ollama.com/search présente la liste des modèles disponibles
• docs.ollama.com est le site de documentation
  • docs.ollama.com - quickstart décrit l'utilisation en ligne de commande (ollama run <model_name>).
  • docs.ollama.com - API Reference présente l'API REST/JSON.

Personnelles :

• mborne/docker-devbox - ollama : installation avec Docker