Beberapa pembekal LLM kini sedang meningkatkan had maksimum token bagi setiap sesi.
Semalam, apabila pasukan teknikal AINNA sedang menaik taraf dan menyaring semula enjin penghuraian dalam Detached System kami, saya melihat sesuatu yang menarik. Tugas kompleks yang biasanya akan menghabiskan had sesian dalam beberapa minit sahaja, kali ini masih mempunyai banyak baki token selepas berjam-jam bekerja.
Ini menandakan sesuatu yang lebih besar. Syarikat-syarikat LLM tidak lagi bersaing hanya melalui kebijaksanaan model semata-mata. Mereka kini bersaing melalui tetingkap konteks yang lebih panjang, had penggunaan yang lebih tinggi, kos yang lebih rendah, respons yang lebih pantas dan akses yang lebih baik untuk pengguna.
Perkara ini mengingatkan saya akan perang harga di kalangan penjual dalam talian.
Ada penjual yang terus memotong harga walaupun margin mereka sudah semakin menipis. Tujuannya tidak semestinya untuk mendapatkan keuntungan serta-merta. Kadangkala, strateginya ialah untuk menarik lebih ramai pelanggan, merampas bahagian pasaran dan melemahkan pesaing yang tidak mampu bertahan tanpa pangkalan pelanggan yang kukuh.
Pembekal LLM mungkin kini memasuki fasa yang serupa. Mereka menawarkan lebih banyak token, sesi yang lebih panjang dan nilai yang lebih baik untuk mengunci pengguna ke dalam platform mereka sebelum pesaing sempat membina kesetiaan pelanggan yang lebih kuat.
Bagi perniagaan seperti kita, ini adalah berita baik dalam jangka pendek. Kita boleh membina lebih banyak, menguji lebih banyak dan menyiapkan projek yang lebih besar dengan kos yang lebih rendah. Tugas-tugas yang dahulu memerlukan beberapa sesian, arahan berulang dan pembinaan semula konteks yang berterusan kini boleh diselesaikan dalam satu aliran kerja yang lebih panjang.
Tetapi perang harga jarang berkekalan selamanya. Apabila pesaing yang lebih lemah menghilang dan pengguna menjadi bergantung kepada segelintir pembekal sahaja, harga, had dan syarat akses mungkin akan berubah semula.
Bagi perniagaan, pengajarannya mudah: manfaatkan persaingan ini, tetapi jangan bergantung sepenuhnya kepada satu pembekal sahaja. Gunakan Smart Routing, Detached Systems, pemprosesan setempat dan berbilang pembekal LLM di mana mungkin.
Pemenang sebenar bukanlah syarikat yang menggunakan LLM paling berkuasa. Pemenangnya ialah syarikat yang fleksibel - yang boleh menukar pembekal, mengawal data sendiri dan terus berkembang walaupun landskap pasaran berubah.
#ArtificialIntelligence #LLM #AICompetition #DetachedSystem #SmartRouting #Distillation #Automation #BusinessStrategy #NeuralOps #AINNA
