TypeScript client for OpenAI's realtime voice API. - transitive-bullshit/openai-realtime-api

はじめにこんにちは！ノベルワークスでアルバイトをしているザワッチです。今回は、年末年始にせこせこと作ってきたリアルタイム会議ファシリテートAIアプリを記事にします。アプリを作った背景現地時…

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

The realism of the voices and conversation interaction, it sounded far less human than the RealtimeAPI

This is a simple demonstration of more advanced, agentic patterns built on top of the Realtime API. - Sunwood-ai-labs/openai-realtime-agents-JP

Päivän tekoälyesimerkkinä: reaaliaikainen tulkkaus 😊 OpenAI julkisti uuden version reaaliaikaisesti puhetta ymmärtävästä ja sitä tuottavasta realtime-mallistaan. Ensimmäinen versio (Realtime API) julkistettiin syksyllä 2024 ja olen jakanut täällä siitä tasaiseen tahtiin esimerkkejä, kun sitä on päivitetty. Nyt uusin versio gpt-realtime-2 on (tietenkin) taas edeltäjiään parempi. Yhtenä uutena ominaisuutena tuli puheen reaaliaikainen tulkkaus eri kielien välillä. Yksi käyttäjä voi puhua esimerkiksi suomea ja toinen kuulee puheen japaniksi. Tein esimerkin: verkko-oppimisalusta, jossa opettaja puhuu haluamallaan kielellä ja jokainen osallistuja voi valita, millä kielellä opetuksen kuulee. Videon esimerkissä puhun suomea ja osallistuja kuulee puheen ranskaksi. Osallistuja voi kielen lisäksi valita millaista ääntä tekoäly puhetta tuottaessaan käyttää. OpenAI tukee yli 70 kieltä, joten nyt voi pitää webinaareja melko laajalle kohdeyleisölle 😄 Teknisenä rajoitteena rajapinnalla on pieni viive, kun se puhetta kääntää. Yllättävän hyvin tuntuu kuitenkin sujuvan ja esimerkiksi akronymien ("Gee Pee Tee") kääntäminenkin näyttää onnistuvan. Toinen rajoite on OpenAI:n asettama raja API:n käytölle. OpenAI jakaa rajapinnan käyttäjät viiteen tasoon ja korkeimmalla tasollakaan (Tier 5) ei samanaikaisia käyttäjiä voi olla kuin noin 800. Riittävästi yhdelle yritykselle, mutta jos tästä haluaisi tehdä SaaS:n, niin se vaatisi yhteydenottoa OpenAI:n suuntaan ja rajojen nostamista.

Die OpenAI Realtime API ermöglicht natürlich wirkende, dynamische Gespräche mit großen Sprachmodellen. Ein Beispiel mit Node.js zeigt sie in Aktion.

¿GPT-4o voz bidireccional ya es full-duplex? Latencia de 320 ms, qué es el rumoreado BiDi y cómo usar la Realtime API hoy, sin caer en humo

¿Cuánto mejoró el tool calling en GPT-Realtime-2? 66.5% en benchmark, 128K contexto y llamadas paralelas. Probalo paso a paso con Pruebas GPT-Realtime-2...

OpenAI RealtimeAPI Embedded SDKは、OpenAIが公開したEPS32S3で動作するリアルタイムAPIを使うハードウエアのための試作コード。 　ESP-IDF V4系の環境向けに作られているようだが、すでにESP-IDFはV5系に開発がシフトしてしばらく経っている。そのあたりも混乱のもとになりそう。特にこの実装で使用するI2Sまわりが...