Smart Routing Perlu Tentukan Lebih Daripada Sekadar Model AI Mana Yang Hendak Digunakan✎ Edit

Lama juga saya dan pasukan logistik menganggap Smart Routing sebagai masalah pemilihan model: kenal pasti tugasan, kemudian pilih LLM yang paling sesuai berdasarkan keupayaan, kelajuan, kos dan kerumitan. Di AINNA, kami sedang luaskan idea itu. Soalan pertama bukan lagi “Model mana yang patut uruskan perkara ini?” Soalan pertama sepatutnya “Tugasan ini perlukan model langsung atau tidak?”

Seni bina NeuralOps kami yang sedang berkembang mengikut pendekatan pelaksanaan reuse-first. Bila satu permintaan masuk - sama ada pesanan, pertanyaan status stok, atau permintaan jadual penghantaran - sistem akan semak dahulu sama ada pengetahuan, arahan, aliran kerja atau corak pelaksanaan yang telah divalidasi sudah wujud. Kalau tugasan itu boleh diselesaikan melalui pengetahuan sedia ada, logik deterministik, pangkalan data, parser, API atau alat lain, tiada sebab untuk kita lancarkan satu lagi inferens LLM.

Hanya kerja yang belum selesai patut sampai ke penaakulan AI. Walaupun begitu, Smart Routing tetap berjalan. Arahan kompleks boleh dipecahkan kepada tugasan yang lebih kecil, dengan kerja pengkodan dihalakan ke model pengkodan, kerja bahasa ke model bahasa, tugasan visual ke model visual, manakala operasi berulang seperti pengiraan berat volumetrik, pengesahan SKU atau padanan poskod boleh kekal sepenuhnya terpisah daripada LLM. Secara ringkas, seni binanya menjadi: Reuse → Resolve → Execute → Reason.

Tidak lama lagi, kami juga merancang untuk memperkenalkan model keputusan bergaya JEv ke dalam NeuralOps sebagai satu lagi lapisan keputusan perantaraan. Bila sistem deterministik kita berdepan anomali atau keputusan yang tidak pasti - contohnya baki stok yang tidak sepadan atau laluan penghantaran yang tersekat - model keputusan khusus yang lebih kecil mungkin sudah memadai untuk menentukan tindakan seterusnya tanpa terus mengeskalasi tugasan itu kepada LLM penuh.

Matlamatnya bukan untuk hapuskan LLM. Matlamatnya ialah gunakannya di tempat keupayaan penaakulannya benar-benar menghasilkan nilai. Pendekatan ini boleh kurangkan panggilan model yang tidak perlu, penggunaan token, kependaman dan permintaan komputasi, sambil meningkatkan konsistensi dan mengurangkan pergerakan data operasi yang tidak perlu ke model luaran.

Bagi saya, Smart Routing kini berkembang melangkaui sekadar mencari model yang lebih murah atau lebih berkeupayaan. Ia sedang menjadi seni bina keputusan yang menentukan sama ada AI perlu dipanggil pada mulanya, dan hanya selepas itu memutuskan lapisan kecerdasan mana yang sesuai.

Kadang-kadang, model yang paling cekap ialah tiada model langsung.

Guna semula apa yang sudah diketahui. Laksana apa yang deterministik. Guna kecerdasan khusus apabila sudah memadai. Fikir mendalam hanya apabila perlu.

#AINNA #NeuralOps #SmartRouting #AgenticAI #AIAgents #AIInfrastructure #DecisionModels #LLM #EnterpriseAI #SustainableAI