Perlumbaan AI Sebenar Mungkin Bukan Pasal Model Lebih Besar, Mungkin Pasal Kecerdasan Lebih Murah✎ Edit

Perlumbaan AI Sebenar Mungkin Bukan Pasal Model Lebih Besar  Mungkin Pasal Kecerdasan Lebih Murah

Dalam kerja operasi harian saya di AINNA, bila saya tengok perbandingan ini, perkara yang menarik bukan sekadar nama model.

Yang lebih besar ceritanya ialah keluk kos.

Dalam setup ini, harga turun dari kira-kira $0.20/M input dan $1.20/M output kepada $0.10/M input dan $0.50/M output, sambil mengekalkan context window dan keupayaan tool yang sama seperti dinyatakan.

Kalau trend ini berterusan, ia mengubah ekonomi membina sistem AI.

Bagi saya, ini satu lagi sebab kuat untuk bulk-distill LLM tempatan  dan mungkin SLM juga.

Daripada bergantung selama-lamanya pada inference luar yang mahal, kita boleh guna model yang semakin optimum sebagai guru untuk jana data latihan, perhalusi workflow, bina corak penaakulan khusus domain, dan terus perbaiki model tempatan kita sendiri.

Matlamatnya bukan semestinya bina model paling besar.

Matlamatnya ialah bina model yang cukup optimum untuk kerja sebenar dia.

Untuk bisnes, itu boleh bermakna model lebih kecil menguruskan perakaunan, inventori, operasi, khidmat pelanggan, kawalan mesin, pemprosesan dokumen, atau automasi dalaman, sementara model luar yang lebih besar hanya digunakan bila benar-benar perlu.

Saya harap trend harga ini berterusan.

Sekurang-kurangnya sehingga LLM tempatan kita cukup matang untuk mengendalikan sebahagian besar beban kerja secara berdikari.

Guna model yang optimum untuk bina. Distill apa yang penting. Kurangkan kebergantungan secara berperingkat.