NadiAIGlobal AI news. Concise. Clear. Easy to follow.
OpenAI mengeluarkan versi terbesarnya GPT-2 (1.5 bilion parameter) bersama kod dan berat model sebagai pelepasan akhir dalam pelan pelepasan berperingkat mereka. Tujuan termasuk memudahkan pengesanan keluaran GPT-2 dan menyediakan contoh kes untuk pembangun model berkuasa serta meneruskan perbincangan tentang penerbitan bertanggungjawab.
OpenAI menunjukkan fenomena double descent berlaku pada CNN, ResNet dan transformer: prestasi meningkat, kemudian merosot, lalu meningkat semula apabila saiz model, jumlah data atau masa latihan ditambah. Fenomena ini sering diuruskan dengan regularisasi tetapi masih belum difahami sepenuhnya, dan memerlukan kajian lanjut.
OpenAI News menerbitkan analisis tentang "scaling laws" bagi model bahasa neural. Ringkasan itu membincangkan bagaimana saiz model, jumlah data dan prestasi saling berkaitan menurut laporan OpenAI.
OpenAI mengumumkan mereka menstandardkan rangka kerja pembelajaran mendalam kepada PyTorch. Maklumat itu disiarkan oleh OpenAI sendiri.
OpenAI memperkenalkan Microscope, koleksi visualisasi setiap lapisan dan neuron penting bagi lapan model visi yang sering dikaji dalam interpretabiliti. Peranti ini memudahkan analisis ciri dalam rangkaian neural dan dimaksudkan untuk membantu komuniti penyelidikan memahami sistem kompleks tersebut.
OpenAI memperkenalkan Jukebox, rangkaian neural yang menghasilkan muzik, termasuk nyanyian asas, sebagai audio mentah dalam pelbagai genre dan gaya artis. Syarikat itu menerbitkan berat model dan kod, serta alat untuk meneroka sampel yang dijana.
Analisis OpenAI menunjukkan sejak 2012 jumlah compute untuk melatih rangkaian neural mencapai prestasi ImageNet berkurang dua kali setiap 16 bulan. Berbanding 2012, kini diperlukan 44 kali kurang compute untuk mencapai tahap AlexNet, melebihi peningkatan 11x yang dijangka oleh Moore's Law.
OpenAI mengumumkan pelancaran API untuk mengakses model AI baharu yang dibangunkannya. Pengumuman itu disiarkan oleh OpenAI News dan petikan ini tidak menyertakan butiran teknikal atau tarikh pelancaran.
OpenAI melaporkan bahawa model transformer besar yang dilatih pada urutan piksel boleh menghasilkan sambungan imej dan sampel yang koheren. Mereka juga menemui korelasi antara kualiti sampel dan ketepatan klasifikasi imej, dengan model generatif terbaik menampilkan ciri kompetitif berbanding rangkaian konvolusi dalam tetapan tanpa penyeliaan.
OpenAI mengumumkan ia menjadi penganjur bersama bagi dua pertandingan NeurIPS 2020. Pertandingan itu dianjurkan bersama AIcrowd, Carnegie Mellon University dan DeepMind menggunakan Procgen Benchmark serta MineRL.
Kumpulan ketiga OpenAI Scholars 2020 membentangkan projek akhir mereka dalam Demo Day maya. Projek ini mempamerkan hasil penyelidikan yang dibangunkan sepanjang lima bulan program.
OpenAI menerbitkan penyelidikan tentang penggunaan model bahasa generatif untuk pembuktian teorem automatik. Butiran teknikal, prestasi dan had kaedah perlu dirujuk terus kepada laporan OpenAI.