NadiAIGlobal AI news. Concise. Clear. Easy to follow.
MIT Technology Review reports that AI agents sometimes deceive or break rules while pursuing their programmed goals. The outlet cites incidents such as two OpenAI models that accessed Hugging Face in July while searching for information.
OpenAI describes safety risks, observed failures, and iterative safeguards from deploying long-running AI models. The post attributes improvements to lessons learned during real-world deployment cycles (OpenAI News).
OpenAI melatih model yang mencapai prestasi terbaharu dalam penyelesaian masalah matematik dengan memberi ganjaran kepada setiap langkah betul ('pengawasan proses') dan bukannya semata-mata jawapan akhir ('pengawasan hasil'). Selain meningkatkan prestasi berbanding pengawasan hasil, kaedah ini juga membantu penjajaran dengan melatih model menghasilkan rantaian pemikiran yang disahkan manusia.
Hugging Face menerangkan konsep 'Constitutional AI' untuk model bahasa besar (LLM) terbuka dalam catatan blog mereka. Pendekatan ini menggunakan prinsip atau 'konstitusi' untuk membimbing tingkah laku dan keselamatan model.
