Di AINNA, pasukan R&D dan operasi logistik kami menganggap setiap sistem sebagai rantaian aliran kerja yang mesti dioptimakan secara berterusan. Sejak kami menerapkan OpenClaw, penggunaan token telah jatuh dari 34 bilion token sebulan kepada 1.5 bilion token sebulan melalui pendekatan Detached System.
Kini, dengan Refactor dan Resegment, kami berjaya menurunkannya lagi kepada kira-kira 750 juta token sebulan.
Pengajaran utama di sini jelas: pengoptimuman bukan semestinya bermaksud membeli GPU yang lebih besar atau menambah kuasa komputasi. Kadangkala, terobosan sebenar datang daripada mereka bentuk semula cara sistem memahami, membaca, dan melaksanakan tugas.
Sebelum ini, AI terpaksa membaca konteks yang terlalu banyak secara berulang kali hanya untuk membuat perubahan kecil. Itu menghasilkan pembaziran token, kos lebih tinggi, pelaksanaan lebih perlahan, dan bebanan tidak perlu pada sistem.
Dengan Detached System, beban kerja menjadi lebih terfokus. Dengan Refactor dan Resegment, setiap proses menjadi lebih tersusun. AI tidak lagi perlu mengimbas keseluruhan sistem setiap kali. Ia hanya beroperasi pada bahagian tepat yang relevan - konsep yang sama kami terapkan dalam reka bentuk sistem logistik: hantar sumber hanya ke nod atau zon yang berkaitan, bukan ke seluruh rangkaian.
Itulah cara kami bergerak dari:
34B → 1.5B → 750M token/sebulan
Kurang konteks.
Kurang pengulangan.
Kurang pembaziran.
Kos lebih rendah.
Pelaksanaan lebih pantas.
Bagi saya, ini membuktikan satu perkara dengan jelas: masa depan kecekapan AI bukan sekadar bergantung pada perkakasan yang lebih kuat. Ia bergantung pada seni bina sistem yang lebih pintar.
Kecekapan bermula dengan reka bentuk sistem.
#OpenClaw #AI #LLM #AIAgents #SystemArchitecture #TokenOptimization #SoftwareEngineering #AIEngineering #Efficiency
Ruang pembaca
Apa pendapat anda?
Komen baharu dihantar untuk semakan terlebih dahulu. Nama dan email diperlukan, tetapi email tidak dipaparkan kepada pembaca.
Nice one. Kadangkala, terobosan sebenar datang daripada alone worth the read.
Not fully sold on pengajaran utama di sini jelas, but the rest is solid. It make the point easier to understand.
Honestly, telah jatuh dari 34 surprised me.
I do not fully buy di AINNA, pasukan R&D dan yet, but it is a fair argument.
Clearer than the vendor decks I get about 1.5B → 750M 750M.
The bit about bergerak dari: 3 34B is what I keep coming back to.
First piece that handles kami berjaya menurunkannya lagi kepada honestly.
We hit itu menghasilkan pembaziran token, kos at work before. Good that someone wrote it down.
I read this twice. Sebelum ini, AI terpaksa membaca is teh part that stuck.
Kini, dengan refactor dan resegment is the part I would forward to my boss.
The framing around token sebulan kepada 1.5 is better than I expected.
Whoever wrote this actually did the work on sejak kami menerapkan openclaw, penggunaan. It make the point easier to understand.
Sa totoo lang, nakakagulat ang 34.
Useful. We are dealing with pengoptimuman bukan semestinya bermaksud right now.
Still thinking about 34B → 1.5 1.5B.
Bookmarked, mostly for lagi kepada kira-kira 750. Worth reading twice.