Kemudian sistem LM akan memprediksi kemungkinan kata selanjutnya, yaitu "panas" atau "hujan" berdasarkan pada kalimat yang sudah ada sebelumnya.
Language Model biasanya dibangun menggunakan metode Deep Learning dengan menggunakan data latih (training data) yang sangat besar.
Kemudian, sistem ini dilatih untuk dapat memprediksi kata-kata yang paling mungkin terjadi berdasarkan pada konteks yang ada sebelumnya.
Hal tersesbut tercermin dari namanya "pre-trained", GPT telah belajar dan berlatih dengan menganalisis jutaan kata dan kalimat.
GPT-3 (atau generasi ketiga GPT) kabarnya belajar teks berukuran 45 terabytes yang diambil dari internet. Data sebesar itu setara dengan satu juta buku.
Dari data sebesar itu, sistem GPT akan mempelajari pola dan keterkaitan antara teks dan kalimat.
Sehingga GPT bisa memahami konteks dari kalimat tersebut. Tentu saja, jawaban GPT tergantung data yang ia pelajari.
Pengenalan Chat GPT
Chat GPT merupakan salah satu contoh penggunaan dari Language Model. Chat GPT dikembangkan menggunakan teknologi Deep Learning.
Dimana sistemnya dilatih menggunakan model Transformer untuk memahami konteks dari kata-kata yang sudah ada sebelumnya dan memprediksi kata-kata selanjutnya yang paling mungkin terjadi.
Contohnya, ketika Anda menggunakan Chat GPT untuk membuat chatbot, sistem akan memprediksi balasan yang paling mungkin terjadi.
Hal tersebut berdasarkan pada kata-kata yang sudah diterima sebelumnya dan konteks percakapan secara keseluruhan.