Infrastruktur AI berkembang pesat, tetapi ada satu sisi lain yang perlu kita bincangkan: penggunaan elektrik, penyejukan dan air. Bagi PKS di Malaysia, ini bukan sekadar isu kelestarian, tetapi juga kos operasi yang perlu diuruskan.
Penyelidikan terkini menunjukkan bahawa setelah model AI digunakan, inferens boleh menyumbang sekitar 80–90% daripada penggunaan tenaganya. Setiap panggilan LLM yang tidak perlu bermaksud lebih banyak komputasi GPU, lebih banyak elektrik, lebih banyak haba, dan akhirnya lebih banyak permintaan untuk penyejukan. Ini secara langsung meningkatkan kos dan jejak karbon perniagaan anda.
Inilah sebabnya kami di AINNA membangunkan NeuralOps berdasarkan prinsip yang berbeza:
Tidak semua tugasan memerlukan LLM.
Dengan Smart Routing, sesuatu tugasan boleh dikendalikan oleh peraturan, penghurai, pangkalan data, API atau model yang lebih kecil. Penalaran LLM yang berat hanya digunakan apabila benar-benar diperlukan. Setelah aliran kerja menjadi stabil, ia boleh ditukar menjadi sistem deterministik yang terasing yang beroperasi berulang kali tanpa perlu memanggil LLM.
Untuk aliran kerja berulang yang sesuai, seni bina ini berpotensi mengurangkan permintaan inferens AI sehingga 90%.
Kesannya lebih daripada sekadar penjimatan token.
Kurang inferens → Kurang komputasi GPU → Kurang elektrik → Kurang haba → Kurang penyejukan → Kurang penggunaan air.
Ada satu lagi faedah: kebolehpercayaan.
Apabila aliran kerja terasing tidak lagi bergantung pada LLM semasa pelaksanaan, terdapat sifar token LLM dan sifar halusinasi LLM semasa laluan pelaksanaan itu. Kecerdasan digunakan di mana penaakulan diperlukan, manakala sistem deterministik mengendalikan operasi berulang.
Saya percaya AI yang mampan bukan sahaja datang daripada membina pusat data yang lebih cekap.
Ia juga datang daripada mencegah inferens AI yang tidak perlu daripada sampai ke pusat data sejak awal lagi.
Itulah hala tuju yang kami terokai dengan NeuralOps:
gunakan AI apabila kecerdasan diperlukan, dan gunakan sistem deterministik apabila tidak.
#ArtificialIntelligence #AgenticAI #NeuralOps #SovereignAI #GreenAI #SustainableAI #DataCentre #AIInfrastructure #SmartRouting #Automation #SME
Ruang pembaca
Apa pendapat anda?
Komen disemak sebelum diterbitkan. Email diperlukan untuk moderasi dan tidak dipaparkan kepada pembaca.
بصراحة، 80 فاجأني.
Sent this to two people already. tetapi juga kos operasi yang is why.
The direction on menyumbang sekitar 80–90 90% is exactly right.