Modelo de fundación

Un modelo de fundación, é un modelo de aprendizaxe automática ou aprendizaxe profunda que é adestrado nunha gran cantidade de datos de tal xeito que pode ser aplicado a múltiples casos. Os modelos de fundación transformaron a intelixencia artificial (IA) e impulsaron novas aplicacións da IA na nosa sociedade como ChatGPT. O termo modelo de fundación, ou en inglés Foundation Model foi creado e popularizado polo Centro de Investigación en Modelos de Fundación do Instituto de Intelixencia Artifical Humano-céntrica de Stanford.

Os modelos de fundación son modelos creados para poder realizar unha diversa gama de casos. Debido a isto, a súa creación require habitualmente dunha gran cantidade de recursos tanto computacionais como de cantidade de datos, sendo os máis caros ate o momento de centos de millóns de dólares. Por outro lado, o proceso de adaptar un modelo de fundación existente para un uso específico é moito menos esixente a nivel de recursos.

Os primeiros exemplos de modelos de fundación son modelos lingüísticos como BERT de Google e a serie de "GPT-n" de OpenAI. Máis aló do campo textual, tamén se crearon modelos de fundación en outros campos como para a creación de imaxes (DALL-E e Flamingo), no eido musical (MusicGen), ou no control de robots (RT-2). Actualmente, estanse investigando as súas aplicacións en outros moitos campos como a astronomía, radioloxía, xenómica, física, programación e matemáticas.

Detalles técnicos

Modelización

Para que un modelo de fundación xeneralice eficazmente a un gran rango de aplicacións este ten que adquirir representacións ricas do dato de adestramento. Como resultado disto adoitan empregarse na súa construción arquitecturas expresivas que procesan de forma eficiente datos a gran escala. Actualmente, os Transformer, dentro das súas diversas modalidades, é a arquitectura escollida de facto par construír este modelo.