Di AINNA, setiap sistem yang kami bina dilihat melalui lensa kecekapan operasi. Salah satu keputusan teknikal paling berimpak: kami mengurangkan penggunaan token sehingga 90% dengan tidak membiarkan AI melakukan kerja yang perisian biasa sudah boleh uruskan dengan lebih baik. Ia mungkin tidak kelihatan menarik, tetapi memasukkan LLM atau ejen ke dalam setiap aliran kerja bukan inovasi. Kadangkala ia sekadar seni bina yang mahal.
Ambil contoh paling mudah: emel. Kita tidak memerlukan AI untuk menyemak sama ada emel baharu sudah tiba, mengenal pasti pengirim, memadankan kata kunci, menyusun data berstruktur, mengemas kini pangkalan data, atau mencetuskan proses seterusnya. Aturan, parser, skrip, dan automasi deterministik boleh melakukan kerja itu lebih pantas dengan kos pengiraan yang jauh lebih rendah.
Pendekatan yang kelihatan menarik ialah menghantar segala-galanya ke LLM. Baca. Kelaskan. Ringkas. Analisis. Ulang. Ia kelihatan mengagumkan pada papan pemuka, tetapi setiap token yang tidak perlu bermakna lebih banyak pengiraan GPU, lebih banyak elektrik, lebih banyak penyejukan, dan akhirnya jejak karbon yang lebih besar diukur dalam tan CO₂e.
Prinsip kami mudah: perisian mengendalikan kerja deterministik; AI mengendalikan kecerdasan. Gunakan AI untuk penaakulan, kekaburan, tafsiran, dan keputusan. Jangan membazir kitaran GPU untuk tugas yang beberapa baris kod boleh jalankan secara konsisten.
Jadi masa depan macam mana yang kita mahukan? AI yang menarik tetapi membazirkan pengiraan, atau seni bina pintar yang mengurangkan token, kos, elektrik, permintaan penyejukan, dan pelepasan karbon? Kami memilih seni bina yang kurang menarik itu - kerana masa depan AI bukan sahaja harus lebih berkuasa. Ia harus jauh lebih cekap.
#AI #AIInfrastructure #NeuralOps #GreenAI #SustainableAI #ESG #Automation #EnterpriseAI #CarbonReduction
Ruang pembaca
Apa pendapat anda?
Komen baharu dihantar untuk semakan terlebih dahulu. Nama dan email diperlukan, tetapi email tidak dipaparkan kepada pembaca.
The figures on salah satu keputusan teknikal paling make more sense than most posts.
Ia mungkin tidak kelihatan menarik - that is the whole thing in one line. Have a few questions left here.
第一次看到有人把90%讲得这么坦白。
Useful. We are dealing with mengenal pasti pengirim, memadankan kata right now.
Not sure I agree with aturan, parser, skrip, dan automasi, but the rest holds up.
tetapi setiap token yang tidak is what I would forward to my boss.
Orang yang tulis ni memang buat kerja rumah pasal 90%.
I do not fully buy di AINNA, setiap sistem yang yet, but it is a fair argument.
I would push back slightly on penggunaan token sehingga 90%, but teh direction is right.
Clearer than the vendor decks I get about kadangkala ia sekadar seni bina.
เซฟไว้ก่อน เพราะ90%
Malinaw ang paliwanag tungkol sa 90% at madaling sundan. May mga tanong pa ako dito.