Guia Passo a Passo: Executando Gemma 7B nas Instâncias GPU da Novita AI

O Gemma 7B do Google tem atraído atenção significativa como um modelo de linguagem de código aberto eficiente e poderoso. Este guia orientará você na implantação do Gemma 7B nas instâncias GPU da Novita AI, tornando-o acessível para diversas aplicações.

O que é o Gemma 7B

O Gemma 7B faz parte da família de modelos de linguagem leves e de código aberto do Google, construídos com a mesma tecnologia dos modelos Gemini. Ele é projetado para ser mais acessível e implantável em diversas plataformas de hardware, incluindo laptops e desktops, além de ser otimizado para GPUs NVIDIA e TPUs do Google Cloud. O Gemma 7B possui 7 bilhões de parâmetros e é treinado em um conjunto de dados composto principalmente por documentos da web, matemática e código. Ele usa uma arquitetura de transformador apenas com decodificador e atenção multi-cabeça, tornando-o eficiente para tarefas como geração de código, raciocínio matemático e compreensão de linguagem.

Por que usar o Gemma 7B na Novita AI?

A Novita AI oferece uma plataforma baseada em nuvem com instâncias GPU de alto desempenho projetadas para cargas de trabalho de IA, o que a torna uma escolha ideal para executar modelos como o Gemma 7B. Executar o Gemma 7B nas instâncias GPU da Novita AI oferece várias vantagens:

• Desempenho: As GPUs poderosas da Novita AI garantem que o Gemma 7B possa operar de forma eficiente, lidando com tarefas complexas com alto desempenho.
• Acessibilidade: A natureza leve do Gemma 7B permite que ele seja implantado em uma variedade de hardwares, mas usar as instâncias GPU da Novita AI pode aprimorar ainda mais suas capacidades.
• Custo-benefício: Aproveitar recursos de GPU baseados em nuvem pode ser mais econômico do que manter hardware local para implantação de modelos de IA em larga escala.

Implantando com os Modelos Gemma 7B na Novita AI

Pré-requisitos

• Conta Novita AI: Certifique-se de ter uma conta ativa na Novita AI.
• Um token de API do Hugging Face: Você precisará criar uma conta em huggingface.co e gerar um token de acesso com as permissões apropriadas para interagir com o repositório do modelo Gemma.
• Conhecimento básico: compreensão de REST APIs, trabalho com contêineres Docker e familiaridade com fundamentos de computação GPU.

Guia de Implantação Passo a Passo para Implementação do Gemma 7B

Passo 1: Acessando a Plataforma Novita AI

1. Visite o site oficial da Novita AI: https://novita.ai/

[Experimente a Novita AI agora](https://novita.ai/gpus/?utm_source=blogs_GPU&utm_medium=article&utm_campaign=Guia Passo a Passo: Executando Gemma 7B nas Instâncias GPU da Novita AI)

2. Cadastre-se na Novita AI através de Google, GitHub ou métodos de autenticação por e-mail.

3. Navegue até “GPUs” na barra de menu superior e selecione “Get Started” para iniciar o processo de implantação

Passo 2: Implantar o Gemma 7B na Instância GPU

1. Clique em “Create My Template”.

2. Configure os parâmetros de implantação:

• Template Name: Insira um nome descritivo para seu modelo (ex: “Gemma 7b”)
• Container Image: Insira vllm/vllm-openai:latest (ou sua imagem personalizada, se aplicável).
• Container Start Command: Especifique o modelo a ser usado: --model google/gemma-7b-it --max-model-len 4096 –port 8000
• Container Desk: Defina o tamanho de armazenamento apropriado.
• Expose HTTP Ports: Use 8000, que é a porta padrão para servir modelos.
• Environment Variables: Nome: HF_TOKEN; Valor: Seu token de acesso do Huggingface.

Após concluir as etapas de configuração acima, clique em “Save Template” para salvar suas configurações no modelo.

Lembre-se de acessar os modelos Gemma no Hugging Face:

1. Faça login na sua conta do Hugging Face
2. Visite a página do modelo Gemma (google/gemma-7b-it )
3. Clique no botão “Acknowledge license”
4. Aceite as condições para obter acesso imediato aos arquivos e conteúdo do modelo

3. Após concluir as etapas de configuração acima, clique em “Save Template” para salvar suas configurações no modelo.

Passo 3: Personalizar a Implantação

Neste guia, você precisará configurar o número necessário de GPUs. Usando uma única GPU RTX 4090 como exemplo:

1. Selecione a configuração de GPU “1x RTX 4090 24GB”

2. Clique em “Deploy”.

3. Clique em “Next”

Passo 4: Iniciar uma Instância

1. Clique em “Deploy” para implantar o ambiente configurado.

Aguarde alguns minutos enquanto a instância é configurada e gerenciada.

2. Após a instância iniciar, ela começará a baixar o modelo. Clique em “Logs” --> “Instance Logs” para monitorar o progresso do download do modelo.

Quando o log mostrar “INFO: Application startup complete”, a inicialização foi bem-sucedida. Agora vamos acessar seu modelo privado!

3. Clique em “Connect”, depois clique em --> “Connect to HTTP Service [Port 8000]”. Como este é um serviço de API, você precisará copiar o endereço.

Para fazer requisições ao seu modelo privado, substitua “http://7a65a32b51e37482-8000.jp-tyo-1.gpu-instance.novita.ai” pelo seu endereço exposto real. Copie o código a seguir para acessar seu modelo privado!

$ curl http://7a65a32b51e37482-8000.jp-tyo-1.gpu-instance.novita.ai/v1/chat/completions  \
   -H "Content-Type: application/json"     -d '{
        "model": "google/gemma-7b-it",
        "messages": [{"role": "user", "content": "hello"}]
    }'
{"id":"chatcmpl-57b3296f87f54dd4b69cfb6d2196f48e","object":"chat.completion","created":1740711405,"model":"google/gemma-7b-it","choices":[{"index":0,"message":{"role":"assistant","content":"Alright, the user said \"hello.\" That's a friendly greeting. I should respond in a welcoming manner.\
\
Maybe I can acknowledge their greeting and offer assistance.\
\
It's important to sound approachable and ready to help.\
\
I'll keep it simple and polite.\
 response\
\
Hello! How can I assist you today?","tool_calls":[]},"logprobs":null,"finish_reason":"stop","stop_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":70,"completion_tokens":64,"prompt_tokens_details":null},"prompt_logprobs":null}

4. Configure o endereço da API em suas aplicações, como Chatbox, e você terá seu próprio assistente pessoal!

[Novita AI](https://novita.ai/?utm_source=blogs_GPU&utm_medium=article&utm_campaign=Guia Passo a Passo: Executando Gemma 7B nas Instâncias GPU da Novita AI) é uma plataforma de nuvem de IA que oferece aos desenvolvedores uma maneira fácil de implantar modelos de IA usando nossa API simples, além de fornecer a nuvem GPU acessível e confiável para construir e escalar.