Edit Article

Dalam seni bina hibrid, Smart Router boleh pilih antara sistem AI dan Sistem Terpisah (Detached System). Kerja yang berulang, berstruktur, dan boleh diramal boleh dilaksanakan dengan komponen deterministik seperti rules, parser, PHP, SQL, API, atau algoritma tetap – tak perlu panggil LLM setiap kali.

AI hanya digunakan untuk tugasan yang benar-benar perlukan kepintaran – yang ada kekaburan, interpretasi, reasoning, corak tak biasa, atau situasi di mana pelaksanaan deterministik bagi keyakinan rendah. Sistem juga boleh naik taraf kes susah dari model kecil ke model lebih besar bila perlu.

Ini mewujudkan dua peringkat routing. Pertama, routing pelaksanaan: Sistem Terpisah vs AI. Kedua, routing model: model AI mana yang patut handle tugasan itu. Ini jauh beza dari routing multi-model konvensional yang anggap setiap tugasan mesti diproses oleh AI.

Prinsipnya mudah: guna kepintaran hanya di tempat yang perlu. Daripada tanya 'AI mana yang patut buat ni?', seni bina yang lebih efisien tanya dulu 'Perlukah AI buat ni langsung?' Pendekatan ni boleh kurangkan penggunaan token dan kos inference, sambil tingkatkan latency, konsistensi, kebolehramalan, dan skalabiliti.