Beberapa penyedia LLM nampaknya sedang menaikkan had maksimum token bagi setiap sesi.
\r\nSemalam, saya bersama pasukan logistik operasi AINNA menghabiskan beberapa jam menyemak semula dan menyaring semula enjin parsing dalam Detached System kami. Biasanya, tugas kompleks macam ini akan menghabiskan baki sesi dalam beberapa minit sahaja. Tetapi walaupun selepas berjam-jam, baki token masih banyak.
\r\nIsyarat ini lebih besar daripada sekadar spesifikasi teknikal. Syarikat LLM kini tidak lagi bersaing hanya melalui kecerdasan model. Mereka juga bersaing melalui tetingkap konteks yang lebih panjang, had penggunaan yang lebih tinggi, kos yang lebih rendah, tindak balas lebih pantas dan akses lebih baik untuk pengguna.
\r\nIa mengingatkan saya akan perang harga dalam industri logistik dan e-dagang.
\r\nAda pengusaha logistik atau penjual dalam talian yang terus memotong kadar penghantaran walaupun margin mereka sudah nipis. Tujuannya bukan semata-mata untuk untung segera. Kadangkala, strateginya ialah menarik lebih banyak pelanggan, merampas bahagian pasaran dan melemahkan pesaing yang tidak mampu bertahan tanpa pangkalan pelanggan yang kukuh.
\r\nPenyedia LLM mungkin kini memasuki fasa yang sama. Mereka menawarkan lebih banyak token, sesi lebih panjang dan nilai lebih baik untuk mengunci pengguna pada platform mereka sebelum pesaing sempat membina kesetiaan pelanggan yang lebih kuat.
\r\nBagi pengguna dan operasi, ini menguntungkan dalam jangka pendek. Kita boleh membina lebih banyak, menguji lebih banyak dan melengkapkan projek lebih besar dengan kos lebih rendah. Tugas yang dahulu memerlukan beberapa sesi, prompt berulang dan pembinaan semula konteks boleh diselesaikan dalam satu aliran kerja yang lebih panjang - kurang proses \"cross-docking\" data, kurang pembungkus semula konteks.
\r\nTetapi perang harga jarang kekal selamanya. Apabila pesaing yang lemah pupus dan pengguna bergantung kepada segelintir penyedia, harga, had dan syarat akses mungkin berubah semula.
\r\nBagi perniagaan, pengajarannya mudah: manfaatkan persaingan, tetapi jangan bergantung sepenuhnya pada satu penyedia. Gunakan Smart Routing, Detached Systems, pemprosesan setempat dan pelbagai penyedia LLM di mana mungkin - sama seperti kita tidak meletakkan semua stok dalam satu trak atau satu laluan penghantaran.
\r\nPemenang sebenar bukanlah syarikat yang menggunakan LLM paling berkuasa. Ia adalah syarikat yang boleh menukar penyedia, mengawal data sendiri dan terus beroperasi apabila pasaran berubah.
\r\n#ArtificialIntelligence #LLM #AICompetition #DetachedSystem #SmartRouting #Distillation #Automation #BusinessStrategy #NeuralOps #AINNA
