Perang Kapasiti LLM: Konteks, Token dan Kos dari Sudut Pembinaan Sistem✎ Edit

Beberapa pembekal LLM kini memanjangkan tetingkap konteks dan meningkatkan kapasiti token bagi setiap sesi.

Semalam, saya menghabiskan beberapa jam untuk membina semula dan menyuling enjin parsing dalam Detached System. Biasanya, tugas kompleks begini akan menghabiskan baki token dalam beberapa minit sahaja. Namun, kali ini, selepas berjam-jam kerja pembangunan, baki token masih banyak.

Ini menandakan satu perubahan besar dalam landskap LLM. Pembekal tidak lagi bersaing melalui kecerdasan model semata-mata. Kini persaingan merangkumi tetingkap konteks yang lebih panjang, had penggunaan yang lebih tinggi, kos yang lebih rendah, latensi yang lebih rendah dan akses yang lebih baik untuk pengguna.

Situasi ini mengingatkan saya tentang peperangan harga dalam kalangan penjual atas talian.

Ada penjual yang terus memotong harga walaupun margin mereka sudah hampir hilang. Matlamatnya bukan semata-mata untuk mendapatkan keuntungan segera. Kadangkala, strategi itu bertujuan untuk menarik lebih ramai pelanggan, merampas bahagian pasaran dan melemahkan pesaing yang tidak mampu bertahan tanpa pangkalan pelanggan yang kukuh.

Pembekal LLP mungkin kini memasuki fasa yang sama. Mereka menawarkan lebih banyak token, sesi yang lebih lama dan nilai yang lebih baik untuk mengunci pengguna ke dalam platform masing-masing sebelum pesaing sempat membina kesetiaan pelanggan yang lebih kuat.

Bagi pasukan R&D dan operasi seperti kami yang membina sistem logistik, ini memberi manfaat jangka pendek. Kami boleh membina prototaip, menjalankan ujian dan menyiapkan projek yang lebih besar pada kos yang lebih rendah. Tugas yang dahulu memerlukan beberapa sesi berasingan, prompt yang berulang dan pembinaan semula konteks secara berterusan kini dapat diselesaikan dalam satu aliran kerja yang lebih panjang.

Tetapi peperangan harga jarang berlangsung selamanya. Apabila pesaing yang lemah tersingkir dan pengguna menjadi bergantung kepada beberapa pembekal sahaja, harga, had dan syarat akses mungkin berubah semula.

Bagi perniagaan, pengajarannya mudah: manfaatkan persaingan yang wujud, tetapi jangan bergantung sepenuhnya kepada satu pembekal. Gunakan Smart Routing, Detached System, pemprosesan setempat dan pelbagai pembekal LLM di mana sahaja yang mungkin.

Pemenang sebenarnya bukanlah organisasi yang menggunakan LLM paling berkuasa. Ia adalah organisasi yang boleh menukar pembekal, mengawal data sendiri dan terus beroperasi apabila pasaran berubah.

#ArtificialIntelligence #LLM #AICompetition #DetachedSystem #SmartRouting #Distillation #Automation #BusinessStrategy #NeuralOps #AINNA