OpenAI merilis pembaruan untuk inferensi waktu nyata di seluruh audio, visi, dan teks

Menurut Cointelegraph, OpenAI melakukan empat pembaruan pada modelnya di bulan Oktober untuk membantu model AI-nya lebih baik dalam melakukan percakapan dan meningkatkan pengenalan gambar. Pembaruan besar pertama adalah API real-time yang memungkinkan pengembang membuat aplikasi ucapan yang dihasilkan AI menggunakan satu prompt, memungkinkan percakapan alami yang mirip dengan pola ucapan canggih ChatGPT. Sebelumnya, pengembang harus "menggabungkan" beberapa model untuk menciptakan pengalaman ini. Input audio biasanya harus diunggah dan diproses sepenuhnya sebelum respons diterima, yang berarti aplikasi real-time seperti percakapan suara-ke-ucapan memiliki latensi tinggi. Dengan kemampuan streaming API Realtime, pengembang kini dapat mewujudkan interaksi instan dan alami, seperti asisten suara. Berjalan di GPT-4, yang akan dirilis pada Mei 2024, API ini memungkinkan inferensi real-time di seluruh audio, visi, dan teks. Pembaruan lainnya mencakup alat penyetelan halus untuk pengembang yang memungkinkan mereka meningkatkan respons AI yang dihasilkan dari input gambar dan teks. Penyempurnaan berbasis gambar memungkinkan AI untuk lebih memahami gambar, yang mengarah pada peningkatan pencarian visual dan deteksi objek. Proses ini mencakup umpan balik dari manusia yang memberikan contoh respons baik dan buruk untuk pelatihan. Selain pembaruan ucapan dan visi, OpenAI telah memperkenalkan "distilasi model" dan "penyimpanan isyarat," yang memungkinkan model yang lebih kecil belajar dari model yang lebih besar dan mengurangi biaya serta waktu pengembangan dengan menggunakan kembali teks yang telah diproses. OpenAI mengharapkan pendapatan meningkat menjadi $11,6 miliar tahun depan, naik dari perkiraan $3,7 miliar pada tahun 2024, menurut Reuters.