Da li je skuplje pričati sa LLM-om u 1 sesiji dugačkoj 10 strana ili u 10 sesija dugačkoj po 1 stranicu?
StartIt pre 10 sati
Svaki put kad pošaljete poruku u razgovoru, model ne čita samo vašu novu poruku nego celu dosadašnju konverzaciju. Isti sadržaj u jednom dugačkom razgovoru može koštati i 5.5 puta više.
Pitanje deluje jednostavno: ako sa LLM-om razmenite 10 poruka u jednom razgovoru, ili tih istih 10 poruka pošaljete u 10 zasebnih razgovora — da li je cena ista? Intuicija bi rekla da jeste. Kako se korišćenje AI povećava, korisno je i onima od nas koji nisu ML inženjeri da imamo predstavu o tome kako radi. Em je korisno znati jer to postaje podrazumevani alat naših struka... Em, pošto ćemo ga koristiti sve više i više, valja imati na umu kako da kontrolišemo
