Google mengatakan bahwa Gemini AI adalah model AI terkuat yang pernah dibuat, dan menunjukkan beberapa prestasi yang telah dicapai oleh model ini, seperti:
- Lulus ujian bar (ujian untuk menjadi pengacara) dengan skor sekitar 10% teratas dari peserta ujian; sementara itu, GPT-3.5 memiliki skor sekitar 10% terbawah.
- Lulus Olimpiade Biologi dengan skor sekitar 99% dari peserta ujian; sementara itu, GPT-3.5 memiliki skor sekitar 31%.
- Menulis ulasan film yang mendalam dan berimbang tentang film terbaru, seperti Dune, The Matrix Resurrections, atau Spider-Man: No Way Home, dengan mempertimbangkan plot, karakter, sinematografi, dan tema.
Google merilis kemampuan input teks Gemini AI melalui ChatGPT dan API (dengan daftar tunggu).
Untuk mempersiapkan kemampuan input gambar Gemini AI untuk ketersediaan yang lebih luas, Google bekerja sama dengan satu mitra untuk memulai.
Google juga membuka sumber OpenAI Evals, kerangka kerja untuk evaluasi otomatis kinerja model AI, untuk memungkinkan siapa saja melaporkan kekurangan dalam model mereka untuk membantu meningkatkan kualitasnya.
