Transformador xerativo preadestrado

Transformador xerativo preadestrado
Subclase de modelo de linguaxe de grande escala aprendizaxe automática transformador intelixencia artificial xenerativa intelixencia artificial
Composto por Modelo de fundación Auto-GPT (pt) GPT-2 Microsoft Copilot DALL-E OpenAI Codex (pt) GPT-3 ChatGPT GPT-4 GPT-1 GPT-J OpenAssistant
Wikidata

Un transformador xerativo pre-adestrado, do inglés generative pre-trained transformer (GPT), é un tipo de modelo de linguaxe grande (LLM) que é amplamente utilizado en chatbots de intelixencia artificial xerativa. Os GPT están baseados nunha arquitectura de aprendizaxe profunda chamada transformador. Están pre-adestrados en grandes conxuntos de datos de contido non etiquetado, e poden xerar novos contidos.

OpenAI foi a primeira empresa en aplicar o generative pre-training (GP), adestramento previo xerativo, á arquitectura do transformador, introducindo o modelo GPT-1 en 2018. Dende entón, a empresa lanzou moitos modelos GPT máis grandes. O popular chatbot ChatGPT, lanzado a finais de 2022 (usando GPT-3.5), foi seguido por moitos chatbots da competencia que usaron os seus propios modelos "GPT" para xerar texto, como Gemini, DeepSeek ou Claude.

Os GPT úsanse principalmente para xerar texto, pero pódense adestrar para xerar outros tipos de datos. Por exemplo, GPT-4o pode procesar e xerar texto, imaxes e son. Para mellorar o rendemento en tarefas complexas, algúns GPT, como OpenAI o3, dedican máis tempo a analizar o problema antes de xerar unha saída e denomínanse modelos de razoamento. En 2025, lanzouse GPT-5 cun router que selecciona automaticamente se se usa un modelo de razoamento máis rápido ou máis lento en función da tarefa.