LLM Series Part 2 : Parameter & Jaringan Saraf Tiruan

Mon, 25 May 2026 22:34:58 +0700

Di part 1 sudah dibahas gimana kata yang kita masukan sebagai prompt ditokenisasi sampai akhirnya tiap token tersebut memndapatkan id yang kemudian ditukar ke vektor embedding berupa deretan 4096 koordinat

lalu setelah jadi vektor embeding gimana proses selanjutnya yang terjadi di dalamnya ?, ada 2 komponen penting yang bekerja di sini yaitu jaringan saraf (deep layers) dan parameter (weight & biases)

parameter ibarat papan dj raksasa yang punya miliaran tombol untuk atur volume suaranya , biasanya saat llm rilis ke publik mereka akan flexing berapa billion parameter yang digunakan, apa parameter itu ? dalam matematika, parameter di dalam Neural Network terdiri dari 2 hal :

weights (bobot) adalah angka pengali untuk menentukan seberapa penting suatu informasi
biases (bias) adalah angka konstan penambah untuk menyetel sensitivitas tebakan

nah parameter ini adalah miliaran angka pengali yang sdah paten (dikunci) yg diperoleh saat proses training model hasi dari membaca internet (yang menebak kata selanutnya itu), saat user bertanya koordinat yg tadi sudah didapat dari tokenisasi id akan disaring dan dikalikan dengan miliaran tombol ini

LLM Series Part 1 : Tokenisasi

Fri, 22 May 2026 22:58:07 +0700

komputer tidak mengetahui huruf atau kata dia hanya ngerti angka , makanya perlu diubah si teks yg ditanyakan oleh user menjadi struktur matematika

caranya pertama adalah dengan memecah teks yg user input ke dalam token token, nama prosesnya adalah tokenisasi proses ini dilakukan oleh program Tokenizer, nah tiap kata nanti dipecah, sebetulnya tidak spesifik dipecah tiap kata, bisa aja tiap suku kata misal “mendengarkan” bisa dipecah menjadi “Men”,“Dengar”,“Kan”

ada beberapa pertanyaan yg perlu dipahami dulu

Teknologi on Today I Learned

LLM Series Part 2 : Parameter & Jaringan Saraf Tiruan

LLM Series Part 1 : Tokenisasi