Beberapa penyedia LLM nampaknya sedang menaikkan had maksimum token bagi setiap sesi.
\r\nSemalam, saya habiskan beberapa jam mengoptimum dan memurnikan parsing engine untuk Detached System saya. Biasanya, tugas kompleks macam ini akan habiskan baki sesi dalam beberapa minit sahaja. Tetapi walaupun selepas berjam-jam bekerja, baki token masih banyak.
\r\nIni menunjukkan satu perubahan besar. Syarikat LLM bukan lagi bersaing semata-mata melalui kecerdasan model. Mereka kini bertembung menerusi context window yang lebih panjang, had penggunaan yang lebih tinggi, kos lebih rendah, respons lebih pantas dan akses lebih lancar untuk pengguna.
\r\nIa terasa macam perang harga yang kita selalu nampak dalam marketplace.
\r\nAda penjual yang asyik potong harga walaupun margin sudah semakin nipis. Tujuan mereka bukan semestinya untung segera. Kadang-kadang, strategi itu adalah untuk tarik lebih ramai pembeli, rampas market share dan lemahkan pesaing yang tidak mampu bertahan tanpa customer base yang kukuh.
\r\nPenyedia LLM mungkin kini memasuki fasa yang sama. Mereka tawarkan lebih banyak token, sesi lebih panjang dan nilai lebih baik untuk mengunci pengguna pada platform mereka sebelum pesaing sempat membina customer loyalty yang lebih kuat.
\r\nBagi pengguna, ini baik dalam jangka pendek. Kita boleh bina lebih banyak, uji lebih banyak dan siapkan projek lebih besar dengan kos lebih rendah. Tugas yang dulu memerlukan banyak sesi, prompt berulang dan pembinaan semula konteks kini boleh diselesaikan dalam satu aliran kerja yang lebih panjang.
\r\nTapi perang harga jarang kekal selamanya. Apabila pesaing yang lemah tersingkir dan pengguna bergantung kepada hanya beberapa penyedia, harga, had dan syarat akses mungkin berubah semula.
\r\nBagi perniagaan, pengajarannya mudah: manfaatkan persaingan ini, tapi jangan bergantung sepenuhnya kepada satu penyedia. Gunakan Smart Routing, Detached Systems, pemprosesan setempat dan pelbagai penyedia LLM di mana mungkin.
\r\nPemenang sebenar bukanlah syarikat yang menggunakan LLM paling berkuasa. Ia adalah syarikat yang boleh menukar penyedia, mengawal data sendiri dan terus beroperasi apabila pasaran berubah.
\r\n#ArtificialIntelligence #LLM #AICompetition #DetachedSystem #SmartRouting #Distillation #Automation #BusinessStrategy #NeuralOps #AINNA
