A Base dos Grandes Modelos
Além disso, este conceito evoluiu para o aprendizado auto-supervisionado, a técnica que permitiu o surgimento do
ChatGPT. O modelo pega um texto da internet, esconde algumas palavras e tenta adivinhar quais são elas com base no contexto restante.
Dessa forma, a própria máquina gera seus exercícios de treino. Assim, ela consegue processar toda a Wikipédia ou todo o GitHub sem precisar de um exército de humanos para classificar cada frase ou linha de código, permitindo o treinamento de
LLMs.