Modèles IA
Le bon modèle pour chaque tâche.
Nestor combine des modèles à poids ouverts, hébergés en Europe ou installés chez vous, et, si vous l'autorisez, des modèles externes comme Claude. En mode automatique, il choisit le moins coûteux capable de la tâche.
Modèles à poids ouverts, en Europe ou chez vous
Pour la conversation et les tâches courantes, Nestor s'appuie d'abord sur des modèles installés sur votre matériel.
- Servis par Ollama ou vLLM, choisis selon la mémoire de votre machine (par exemple des familles Qwen, Gemma, Granite, Mistral ou gpt-oss).
- Pour un usage réel : une carte graphique d'au moins 12 Go de mémoire vidéo, ou un Mac Apple Silicon avec 16 Go de mémoire unifiée ou plus.
- Un modèle installé sur votre propre infrastructure n'est pas facturé au token.
Modèles externes, si vous l'autorisez
Certaines tâches demandent les modèles les plus capables. C'est votre organisation qui décide de les ouvrir.
- Claude (Anthropic) est recommandé pour construire les agents.
- D'autres fournisseurs (OpenAI, Gemini) peuvent être autorisés.
- Les envois sont signalés et journalisés, après masquage automatique de certaines données personnelles.
Le routage automatique
En mode automatique, Nestor choisit le modèle pour chaque demande.
- La demande est classée sans appel à un modèle.
- Parmi les modèles capables de la tâche, le moins coûteux est choisi ; à coût égal, le modèle interne passe en premier.
- Si vous choisissez un modèle vous-même, ce choix n'est jamais remplacé.
Construire avec un modèle, exécuter sans
C'est là que se fait l'économie de tokens.
- La construction d'un agent, et chacune de ses modifications, appelle un modèle.
- L'exécution d'un agent écrit par Nestor n'appelle aucun modèle : 0 token.
- Le mode « interne uniquement » construit avec un modèle local : plus lent, il peut ne pas suffire pour les tâches complexes.