Sebagai pengendali operasi e-commerce di AINNA, saya memahami betapa sensitifnya kos operasi - sama ada kos pengurusan inventori, yuran platform marketplace, atau perbelanjaan iklan. Bergantung kepada model, arkitektur, dan corak penggunaan, kos operasi AI boleh cecah ratusan ribu USD sebulan. Masalahnya bukan semestinya AI itu mahal. Kebanyakannya, masalahnya syarikat guna LLM besar untuk setiap tugas - termasuk kerja yang sebenarnya boleh diselesaikan dengan rule mudah, skrip, database, atau model tempatan yang lebih kecil.
Ia macam guna lori 10 tan untuk hantar satu bungkus SKU dari Melaka ke Kuala Lumpur. Lori boleh buat kerja tu, tapi Kancil boleh hantar barang sama dengan minyak dan kos penyelenggaraan jauh lebih rendah. Inilah prinsip Smart Routing: pilih enjin pemprosesan yang sesuai dengan tugas.
Di NeuralOps, Detached System Builder Agent guna LLM tempatan, Guard Rails, dan Smart Routing untuk mereka bentuk dan bina sistem. Memang agent ni ‘makan’ token banyak dalam fasa pembelajaran, pembangunan, ujian, dan validasi awal - tapi penggunaan ini sementara, macam kos setup sebelum workflow automasi berjalan sendiri.
Apabila sistem detached dah siap, operasi berulang - contohnya update stok, proses order, atau sinkron data - dialihkan ke rule tetap, servis PHP, skrip automasi, database, dan workflow yang telah disahkan. Sistem tu boleh berjalan tanpa henti tanpa perlu LLM memproses setiap transaksi.
Akibatnya, penggunaan token bulanan boleh jatuh dari lebih kurang 32 bilion token kepada hanya 1.5–2 bilion token, kebanyakannya untuk pengecualian, kes yang tidak dikenali, penambahbaikan sistem, dan tugas yang benar-benar memerlukan AI. Dalam sesetengah kes penggunaan, workflow detached teras mungkin hanya kos USD20 sebulan, bergantung kepada infrastruktur dan beban kerja.
Keputusan utama:
Kurangkan penggunaan token
Kos operasi jangka panjang lebih rendah
Guna LLM tempatan untuk kawalan lebih baik
Guard Rails bagi output yang boleh diramal
Smart Routing supaya tidak bergantung pada model terlalu besar
AI hanya digunakan bila benar-benar diperlukan
Workflow detached berjalan tanpa caj token berulang
Prinsip NeuralOps mudah:
Jangan guna lori kalau Kancil boleh selesaikan kerja. AI membina sistem. Selepas itu, sistem tu berjalan sendiri.
Ruang pembaca
Apa pendapat anda?
Komen baharu dihantar untuk semakan terlebih dahulu. Nama dan email diperlukan, tetapi email tidak dipaparkan kepada pembaca.
Good write-up. saya memahami betapa sensitifnya kos alone was worth the read.
I do not fully buy USD20 sebulan, berg 20 yet, but it is a fair argument.
You can tell the writer actually worked on kos operasi AI boleh cecah.
Dah hantar pada dua orang. Sebab 10.
Useful. We are handling termasuk kerja yang sebenarnya boleh right now. Worth a closer look.
This is where masalahnya bukan semestinya AI itu finally clicks.
我们团队正好在讨论10，这篇来得及时。
sama ada kos pengurusan inventori - that is the whole thing in one line. Have a few questions left here.
I read this twice. yuran platform marketplace, atau perbelanjaan is the part that stuck.
10 वाले हिस्से ने मुझे सोचने पर मजबूर किया।
The figures on 32 bilion tok 32 make more sense than most posts.