Sebagai pengasas AINNA, salah satu usaha saya untuk menyokong kos distillation LLM kita sendiri adalah dengan membangunkan lebih banyak Detached Systems.
Prinsipnya mudah:
Jangan gunakan LLM untuk kerja yang sudah menjadi boleh jangka.
Setiap minggu, saya menyasarkan untuk membina lebih kurang lusin Detached Systems yang besar, disokong oleh penyelidikan yang diperlukan untuk memahami aliran kerja, mengenal pasti corak, menetapkan peraturan, dan mengesahkan sistem.
Bagi masalah yang lebih kompleks, saya mungkin menggunakan ChatGPT atau Claude dahulu sebagai lapisan penyelidikan dan penaakulan aras tinggi.
Aliran prosesnya kemudiannya menjadi:
Masalah Kompleks → Penyelidikan → Penaakulan → Distillation → Deterministic Logic → Smart Routing → DeepSeek V4 Flash / LLM Kita Sendiri → Pelaksanaan
Bahagian penting ialah apa yang berlaku selepas Deterministic Logic.
Jika beban kerja itu boleh diselesaikan melalui peraturan, parser, pengesahan, atau logik berstruktur, Detached System akan mengurusnya secara terus.
Sekiranya lebih banyak penaakulan diperlukan, beban kerja itu dihala ke DeepSeek V4 Flash sebagai model luar yang berkos efisien.
Bagi beban kerja yang memerlukan kepakaran, bersifat strategik, sensitif, atau berkaitan kedaulatan, sistem pula boleh menghala tugas tersebut ke model LLM kita sendiri.
Jadi, ini bukan tentang menghapuskan LLM.
Ia tentang menggunakannya secara bijak dan terpilih.
Deterministic Logic dahulu.
LLM berkos efisien apabila diperlukan.
LLM kita sendiri apabila kepakaran, kawalan, atau kedaulatan menjadi keutamaan.
Senibina ini juga menyokong ekonomi pembinaan model kita sendiri.
Lebih banyak beban kerja yang kita pisahkan, lebih rendah kos token dan inference yang berulang.
Semakin rendah kos itu, lebih banyak sumber yang boleh kita tumpukan kepada model distillation, penilaian, infrastruktur, dan pembangunan ekosistem LLM kita sendiri.
Itu antara idea teras di sebalik AINNA NeuralOps.
#AINNA #NeuralOps #DetachedSystems #LLM #AIDistillation #SovereignAI #AIInfrastructure #DeepSeek #ChatGPT #Claude #EnterpriseAI #Automation
Ruang pembaca
Apa pendapat anda?
Komen disemak sebelum diterbitkan. Email diperlukan untuk moderasi dan tidak dipaparkan kepada pembaca.
इस विषय वाला हिस्सा मैं अपने बॉस को भेजूँगा।
Short and clear. Bagi masalah yang lebih kompleks is worth sending to my team.
Tulisan yang bagus. dan mengesahkan sistem sahaja dah berbaloi.
Solid take on saya mungkin menggunakan chatgpt atau overall.
Setuju soal dan mengesahkan sistem, dan arahnya jelas.
Clearer than the vendor decks I get about disokong oleh penyelidikan yang diperlukan.
Detached system akan mengurusnya secara - that is the whole thing in one line.
The framing around dan mengesahkan sistem is better than I expected.