MINDcraft est un projet open source révolutionnaire qui intègre de grands modèles de langage (LLMs) pour contrôler les robots Minecraft, offrant une nouvelle dimension d'interaction et de créativité au sein du jeu. Il utilise la bibliothèque Mineflayer pour permettre à ces robots d'effectuer des tâches complexes en générant du code de haut niveau. Ce projet met en valeur le potentiel de l'IA dans le jeu vidéo et repousse les limites des possibilités offertes par les modèles de langage dans les environnements virtuels. Novita AI est recommandé comme l'un des fournisseurs d'API du projet.

Table des Matières

• Présentation du projet MINDcraft
• Fonctionnalités clés
• Développement et mise en œuvre de MINDcraft
• Comment exécuter MINDcraft
• Comment accéder à la Novita AI clé API
• Liens et ressources utiles

Présentation du projet MINDcraft

À la base, MINDcraft est une application node.js qui intègre LLMIl guide les robots Minecraft dans l'exécution de diverses tâches. Le robot principal, Andy, peut communiquer avec les joueurs et se fixer des objectifs de manière autonome, comme la collecte de ressources ou la construction de bâtiments. Cette capacité lui permet de jouer de manière autonome, de s'adapter en permanence et de se fixer de nouveaux objectifs sans intervention humaine. L'architecture du projet lui permet d'exécuter des commandes efficacement et d'interagir avec l'environnement de jeu de manière pertinente.

Fonctionnalités clés

• Intégration du modèle de langage: MINDcraft emploie LLMs pour générer du code qui dirige les actions du bot dans Minecraft. Cette intégration permet à Andy d'exécuter efficacement des tâches complexes en interprétant des instructions en langage naturel et en les traduisant en commandes de jeu exploitables.
• Gameplay autonome:Andy peut se fixer des objectifs et naviguer de manière autonome dans le monde du jeu, améliorant ainsi sa capacité à effectuer des tâches sans intervention directe du joueur. Cette autonomie permet à Andy d'explorer de nouvelles stratégies et d'adapter son comportement en fonction des retours de l'environnement.
• Commandes paramétrées:Le projet intègre des commandes similaires à celles trouvées dans Toolformer, permettant à Andy d'exécuter des tâches telles que la collecte de ressources de manière plus fiable. Ces commandes paramétrées simplifient l'exécution des tâches en fournissant des actions prédéfinies qui peuvent être personnalisées en fonction d'exigences spécifiques.

Développement et mise en œuvre de MINDcraft

Développement

Inspiration et travaux initiaux

Le développement de MINDcraft a commencé après la publication d'un article notable sur Voyager, qui présentait la bibliothèque Mineflayer pour la création de robots Minecraft dans Node.js. Contrairement aux recherches précédentes sur l'IA qui utilisaient des entrées d'image et des sorties de bas niveau, Mineflayer permet aux systèmes d'IA d'interagir avec Minecraft à l'aide d'un code de haut niveau, simplifiant ainsi des tâches comme la navigation et l'acquisition de ressources sans avoir besoin d'apprentissage par renforcement.

Tirer parti LLMs pour Instruction Suivante

Moderne LLMs excelle dans la génération de code et le suivi des instructions, ce qui facilite le conditionnement d'un LLM pour générer du code Mineflayer à partir d'instructions humaines, ce qui a conduit à la création d'Andy. Des commandes paramétrées ont été implémentées pour améliorer la fiabilité d'Andy dans l'exécution de compétences courantes. Par exemple, Andy peut générer des données. !collectBlocks("oak_log", 1) au lieu de générer du code complexe.

Améliorations et orientations futures

Au fil du temps, l'ensemble de commandes d'Andy a été élargi et des comportements automatiques tels que l'évitement des foules agressives ont été ajoutés. Récemment, Andy peut jouer à Minecraft de manière autonome en définissant des objectifs en langage naturel (par exemple, « Collecter des matériaux pour construire une maison »). Les projets futurs incluent la réutilisation du code, la réflexion sur l'expérience, une meilleure perception spatiale, des entrées de vision et des interactions multi-agents.

Mise en œuvre

Classe d'agent et boucle logique principale

La classe principale de MINDcraft est une classe Agent qui s'instancie chaque fois qu'Andy n'est pas connecté. La boucle logique principale de handleMessage s'exécute lorsqu'un joueur envoie un message à Andy :

handleMessage(message):
    history.add(message)
    while true:
        hist = history.getHistory()
        response = prompter.promptConvo(hist)
        if containsCommand(response):
            cleanChat(response)
            history.add(response)
            result = executeCommand(this, response)
            history.add(result)
        else:
            cleanChat(response)
            history.add(response)
            break

Gestion des réponses et des commandes

Andy peut renvoyer une réponse conversationnelle unique ou appeler de manière itérative des commandes de requête ou d'action. Les requêtes fournissent des informations sur l'état du monde (par exemple, !inventaire, ! Blocs à proximité ), tandis que les actions provoquent des comportements dans le jeu (par exemple, !followPlayer(nom) , !collectBlocks(bloc) ). Toutes les actions sont exécutées à l'aide de la exécuter méthode dans la classe Coder.

Génération de code personnalisé

Pour les comportements complexes comme la construction, Andy peut écrire du code personnalisé en générant le nouvelleAction commande pour entrer en mode de codage. En utilisant la générer du code Méthode de la classe Coder, Andy écrit du code JavaScript personnalisé avec accès à Mineflayer et à une bibliothèque de fonctions utiles. La méthode comprend une boucle pour plusieurs tentatives de débogage.

Rôle des exemples en contexte

Les exemples en contexte sont essentiels à la qualité des réponses d'Andy. Un modèle d'intégration trouve des exemples similaires à l'historique actuel et les ajoute à l'historique. LLM contexte, s'assurer qu'Andy utilise correctement les commandes et interroge les informations avant d'effectuer les tâches.

Comment exécuter MINDcraft

Exigences

• Minecraft Java Edition (jusqu'à la version 1.21.1, nous recommandons la version 1.20.4)
• Node.js installé (au moins v14)
• L'une d'entre elles : Clé API OpenAI | Clé API Gemini | Clé API Anthropic | Clé API Replicate | Clé API Hugging Face | Clé API Groq | Ollama installé. | Clé API Qwen | Novita AI Clé API |

Installer et exécuter

Assurez-vous de répondre aux exigences ci-dessus.

1. Cloner ou télécharger ce dépôt (gros bouton vert)
2. renommer keys.example.json à keys.json et remplissez vos clés API (vous n'en avez besoin que d'une). Le modèle souhaité est défini dans andy.json ou d'autres profils. Pour les autres modèles, reportez-vous au tableau ci-dessous.
3. Dans le terminal/invite de commande, exécutez npm install à partir du répertoire installé
4. Démarrez un monde Minecraft et ouvrez-le sur le réseau local sur le port localhost 55916
5. Courir node main.js à partir du répertoire installé

Personnalisation

Vous pouvez configurer les détails du projet dans settings.js. Voir le fichier.Vous pouvez configurer le nom, le modèle et les invites de l'agent dans son profil comme andy.json.

API	Variable de configuration	Exemple de nom de modèle
Novita AI	NOVITA_API_KEY	gryphe/mythomax-l2-13b

Comment accéder au Novita AI clé API

Étape 1: Aller à novita.ai et connectez-vous

Vous pouvez vous connecter sur Novita AI avec Google ou GitHub, qui créera un nouveau compte lors de votre première connexion. Vous pouvez également vous inscrire en utilisant votre adresse e-mail.

Étape 2 : Gérer Novita AI LLM clé API

Novita AI sécurise l'accès à l'API via l'authentification du porteur en incluant une clé API dans l'en-tête de la requête, telle que « Autorisation : Bearer {Clé API} ». ​​Pour gérer vos clés, accédez à « Gestion des clés » dans les paramètres. Une clé par défaut est automatiquement générée lors de votre première connexion. Vous pouvez créer des clés supplémentaires en cliquant sur « + Ajouter une nouvelle clé ».

Étape 3 : Recharger le crédit

Novita AI offre aux nouveaux utilisateurs un bon d'achat avec un crédit pour essayer nos produits. Pour ajouter plus de crédit, veuillez visiter Facturation et paiements et suivez le guide sur Méthodes de paiement.

Liens et ressources utiles

• Github Repository
• QFP
• Discord
• Twitter de Kolby
• Twitter de Max

Conclusion

MINDcraft représente une avancée significative dans la recherche en IA dans les environnements de jeu. En exploitant la puissance de LLMs, il ouvre de nouvelles possibilités de créativité et d'interaction dans Minecraft. À mesure que le projet évolue, la participation et les retours de la communauté joueront un rôle crucial dans ses développements futurs. Le caractère open source du projet encourage la collaboration entre développeurs et chercheurs souhaitant explorer les liens entre l'IA et le jeu vidéo.

Publié initialement à Novita AI

Novita AI est une plateforme cloud d'IA qui offre aux développeurs un moyen simple de déployer des modèles d'IA à l'aide de notre API simple, tout en fournissant une solution abordable et fiable GPU Cloud pour la construction et la mise à l'échelle.