Dari perspektif operasi di AINNA, salah satu usaha kami untuk menampung kos distilling LLM sendiri ialah dengan membina lebih banyak Detached Systems.
Prinsipnya mudah:
Jangan gunakan LLM untuk kerja yang sudah boleh diramal.
Setiap minggu, sasaran saya di lapangan ialah membina dalam dua belas Detached Systems yang berat, dengan penyelidikan yang cukup supaya kita faham aliran kerja, kenal pasti corak, tetapkan peraturan, dan sahkan sistem.
Bila masalah lebih kompleks, saya biasa gunakan ChatGPT atau Claude dulu sebagai lapisan penyelidikan dan penaakulan tahap tinggi.
Aliran kerjanya jadi macam ini:
Masalah Kompleks → Penyelidikan → Penaakulan → Distillation → Logik Deterministik → Penghalaan Pintar → DeepSeek V4 Flash / LLM Sendiri → Pelaksanaan
Yang penting ialah apa yang berlaku selepas logik deterministik.
Kalau bebanan kerja tu boleh selesai pakai peraturan, parser, pengesahan, atau logik berstruktur, Detached System akan ambil alih terus.
Kalau perlu lebih penaakulan, bebanan kerja dihala ke DeepSeek V4 Flash sebagai model luar yang cekap kos.
Untuk kerja yang khusus, strategik, sensitif, atau berkaitan kedaulatan, sistem boleh alihkan tugas ke model LLM sendiri.
Jadi, ini bukan tentang menghapuskan LLM.
Ini tentang menggunakannya secara terpilih.
Logik deterministik dulu.
LLM cekap kos bila perlu.
LLM sendiri bila kecerdasan khusus, kawalan, atau kedaulatan jadi keutamaan.
Reka bentuk ni juga membuat ekonomi pembinaan model sendiri lebih mampu.
Lebih banyak kerja yang kita asingkan, lebih rendah kos token dan inferens berulang.
Bila kos turun, lebih banyak sumber boleh kita salurkan ke distilling model, penilaian, infrastruktur, dan pembangunan ekosistem LLM sendiri.
Itu antara teras idea di sebalik AINNA NeuralOps.
#AINNA #NeuralOps #DetachedSystems #LLM #AIDistillation #SovereignAI #AIInfrastructure #DeepSeek #ChatGPT #Claude #EnterpriseAI #Automation
Ruang pembaca
Apa pendapat anda?
Komen disemak sebelum diterbitkan. Email diperlukan untuk moderasi dan tidak dipaparkan kepada pembaca.
الجزء المتعلق بـ هذا الموضوع جعلني أفكر مطولًا.
This is where detached system akan ambil alih finally makes sense.
Good write-up. Masalah kompleks alone was worth the read.
The framing around dan sahkan sistem is better than I expected.