Dalam logistik, kita sentiasa mencari cara untuk mengoptimumkan laluan dan mengurangkan penggunaan bahan api. Sama juga dengan AI - infrastruktur AI berkembang pesat, tetapi ada sisi lain yang perlu kita bincangkan: penggunaan elektrik, penyejukan dan air.
Kajian terkini menunjukkan bahawa apabila model AI digunakan, inference boleh menyumbang sekitar 80-90% daripada penggunaan tenaganya. Setiap panggilan LLM yang tidak perlu bermakna lebih banyak pengiraan GPU, lebih banyak elektrik, lebih banyak haba, dan akhirnya lebih banyak permintaan penyejukan.
Ini adalah salah satu sebab kami membangunkan NeuralOps dengan prinsip yang berbeza:
Bukan setiap tugas memerlukan LLM.
Dengan Smart Routing, sesuatu tugas boleh dikendalikan terlebih dahulu oleh peraturan, parser, pangkalan data, API atau model yang lebih kecil. Penalaran LLM yang berat hanya digunakan apabila benar-benar diperlukan. Setelah aliran kerja menjadi stabil, ia boleh ditukar menjadi sistem deterministik terasing yang berjalan berulang kali tanpa memanggil LLM.
Untuk aliran kerja berulang yang sesuai, seni bina ini berpotensi mengurangkan permintaan inference AI sehingga 90%.
Kesannya bukan sahaja penjimatan token.
Kurang inference → Kurang pengiraan GPU → Kurang elektrik → Kurang haba → Kurang penyejukan → Kurang penggunaan air.
Ada satu lagi faedah: kebolehpercayaan.
Apabila aliran kerja yang diasingkan tidak lagi bergantung kepada LLM semasa pelaksanaan, terdapat sifar token LLM dan sifar halusinasi LLM semasa laluan pelaksanaan tersebut. Kepintaran digunakan di tempat yang memerlukan penaakulan, manakala sistem deterministik mengendalikan operasi berulang.
Saya percaya AI yang mampan bukan sahaja datang daripada membina pusat data yang lebih cekap.
Ia juga datang daripada mengelakkan inference AI yang tidak perlu sampai ke pusat data.
Itulah hala tuju yang kami terokai dengan NeuralOps:
gunakan AI apabila kepintaran diperlukan, dan gunakan sistem deterministik apabila kepintaran tidak diperlukan.
#ArtificialIntelligence #AgenticAI #NeuralOps #SovereignAI #GreenAI #SustainableAI #DataCentre #AIInfrastructure #SmartRouting #Automation #SME
Ruang pembaca
Apa pendapat anda?
Komen baharu dihantar untuk semakan terlebih dahulu. Nama dan email diperlukan, tetapi email tidak dipaparkan kepada pembaca.
I read this twice. ia boleh ditukar menjadi sistem is the part that stuck.
Ngayon lang ako nakabasa ng tapat tungkol sa 80.
Sent this to two people already. Dalam logistik, kita sentiasa mencari is why.
بصراحة، 80 فاجأني.
Whoever wrote this actually did the work on penggunaan elektrik, penyejukan dan air.Kajian. It make the point easier to understand.
Bookmarked, mostly for boleh menyumbang sekitar 80.
Still thinking about dan akhirnya lebih banyak permintaan.