Saya melihat arkitektur ini sebagai contoh praktikal infrastruktur AI berdaulat.
Model ini bermula dengan pemberat open-source dan boleh menggunakan model AI luaran sebagai tenaga pengajar semasa proses distilasi serta latihan. Walau bagaimanapun, model luaran itu merupakan sumber semasa fasa latihan, bukan pergantungan dalam fasa produksi.
Apabila latihan selesai, keseluruhan tumpukan AI operasi dikawal sepenuhnya dalam persekitaran kami sendiri.
Pemberat model akhir dikawal secara lokal.
Inferens dilaksanakan pada infrastruktur self-hosted.
Data perniagaan dan pengguna kekal dalam persekitaran kami.
Penerapan, rangkaian, kawalan akses, dan pengkomputeran diuruskan secara dalaman.
Akses ke produksi diasingkan melalui VPN persendirian.
Yang paling penting, sistem tidak memerlukan API AI luaran untuk beroperasi semasa inferens.
Perbezaan ini penting dari sudut reka bentuk operasi.
Kedaulatan tidak semestinya bermaksud setiap unsur pengetahuan, perisian, penyelidikan, atau pengaruh latihan mesti berasal dari dalam. Amat sedikit sistem teknologi moden yang dibina dalam isolasi sepenuhnya.
Dari sudut operasi, yang penting ialah siapa yang mengawal sistem setelah ia dibangunkan.
Sekiranya pembekal AI luaran tidak tersedia esok, sistem produksi kami harus terus beroperasi tanpa gangguan.
Jika pembekal API mengubah harga, dasar, tingkah laku model, atau syarat akses, persekitaran produksi kami harus kekal tidak terjejas.
Jika data perniagaan sensitif memasuki sistem, data itu tidak perlu meninggalkan infrastruktur terkawal kami untuk inferens.
Itulah nilai praktikal kedaulatan.
Dalam arkitektur kami, kecerdasan luaran boleh membantu pada peringkat pembangunan model, tetapi ia tidak mengawal persekitaran operasi akhir.
Analogi mudah ialah proses pembelajaran daripada seorang guru berpengalaman.
Seorang pelajar boleh mempelajari teknik daripada guru, tetapi setelah memperoleh pengetahuan dan mampu beroperasi secara bebas, guru tidak lagi diperlukan untuk setiap keputusan.
Distilasi berfungsi dengan cara yang serupa.
Model-model lanjutan boleh bertindak sebagai guru semasa pembangunan, manakala model yang terhasil menjadi sistem yang dioperasikan secara bebas dan berjalan sepenuhnya dalam infrastruktur di bawah kawalan kami.
Atas sebab itu, saya menggambarkan arkitektur ini sebagai:
Infrastruktur AI Berdaulat dengan model dikawal secara lokal dan inferens bebas.
Tuntutan penting bukanlah bahawa AI ini dicipta tanpa sebarang pengaruh pengetahuan luaran.
Tuntutan penting ialah AI yang dibangunkan tidak bergantung kepada kawalan luaran.
Ini bermaksud kedaulatan wujud di mana ia paling penting:
model, data, infrastruktur, inferens, akses, dan keputusan operasi kekal di bawah kawalan lokal.
