Presentamos ChatGPT<\/p>\n
<\/p>\n
La versi\u00f3n actual de la fase de investigaci\u00f3n de ChatGPT es la \u00faltima etapa en el proceso de despliegue iterativo\u2060 que llevamos a cabo en OpenAI para proveer sistemas de IA cada vez m\u00e1s seguros. A partir de estos modelos de recompensa, podemos perfeccionar el modelo empleando la optimizaci\u00f3n de pol\u00edticas pr\u00f3ximas\u2060. Luego, combinamos este conjunto de datos de di\u00e1logo con el quini6 casino es confiable<\/a> conjunto de datos de InstructGPT para transformarlo en un formato conversacional. Hemos entrenado ChatGPT, un modelo que interact\u00faa con los usuarios como si mantuviera una conversaci\u00f3n. Concluye la investigaci\u00f3n de WilmerHale y Altman y Brockman vuelven a liderar OpenAI Optimizamos ChatGPT a partir de un modelo de la serie GPT\u20113.5, cuyo entrenamiento termin\u00f3 a principios de 2022. Estamos deseando lanzar ChatGPT y conocer la opini\u00f3n de los usuarios; en definitiva, averiguar sus puntos fuertes y \u00e1reas de mejora.<\/p>\n<\/p>\n Animamos a los usuarios a notificarnos los resultados problem\u00e1ticos que genere el modelo a trav\u00e9s de la interfaz de usuario, as\u00ed como de los falsos positivos o negativos que cometa el filtro de contenido externo, que tambi\u00e9n forma parte de la interfaz. Hemos usado el aprendizaje por refuerzo con feedback humano (RLHF) para entrenar el modelo, empleando los mismos m\u00e9todos que con InstructGPT\u2060, aunque configurando la recogida de datos de forma ligeramente distinta. A tal fin, recurrimos a las conversaciones que los entrenadores de IA mantuvieron con el chatbot para seleccionar al azar un mensaje redactado por el modelo, extraer varias muestras alternativas y pedir a los formadores de IA que las clasificaran. Para crear un modelo de recompensa para el aprendizaje por refuerzo, necesit\u00e1bamos recabar datos comparativos, es decir, dos o m\u00e1s respuestas del modelo clasificadas seg\u00fan su calidad. Los entrenadores pod\u00edan consultar las sugerencias que propon\u00eda el modelo para ayudarles a formular las respuestas. Los modelos anteriores nos sirvieron para mejorar este, y esperamos emplear las lecciones aprendidas con esta versi\u00f3n para desarrollar sistemas m\u00e1s potentes. Nos interesa especialmente conocer los resultados perjudiciales que podr\u00edan darse en la vida real, en condiciones no malintencionadas, y los comentarios que nos ayuden a comprender los nuevos riesgos e identificar posibles formas de mitigarlos. Por ejemplo, se han reducido notablemente los resultados err\u00f3neos e indeseados tras el uso del aprendizaje por refuerzo con feedback humano (RLHF).<\/p>\n<\/p>\n El despliegue de modelos anteriores, como GPT\u20113 y Codex, ha servido de base para adoptar las medidas de seguridad que se han aplicado en esta versi\u00f3n. Encontrar\u00e1s m\u00e1s informaci\u00f3n sobre la serie 3.5 aqu\u00ed\u2060(se abre en una ventana nueva). ChatGPT es un modelo hermano de InstructGPT\u2060 que hemos entrenado para seguir instrucciones en forma de prompt y proporcionar respuestas detalladas. Gracias a este formato, ChatGPT puede responder a las preguntas aclaratorias de los usuarios, admitir errores, cuestionar las premisas que considera incorrectas y rechazar solicitudes inapropiadas. Asimismo, esperamos que poner ChatGPT al alcance de los usuarios nos ayude a recopilar informaci\u00f3n valiosa sobre cuestiones que a\u00fan no hemos identificado. Somos conscientes de que sigue habiendo muchas limitaciones, por lo que nos hemos propuesto actualizar con regularidad nuestros modelos para mejorar ciertos aspectos como los mencionados arriba.<\/p><\/p>\n","protected":false},"excerpt":{"rendered":" Presentamos ChatGPT La versi\u00f3n actual de la fase de investigaci\u00f3n de ChatGPT es la \u00faltima etapa en el proceso de despliegue iterativo\u2060 que llevamos a cabo en OpenAI para proveer sistemas de IA cada vez m\u00e1s seguros. A partir de estos modelos de recompensa, podemos perfeccionar el modelo empleando la optimizaci\u00f3n de pol\u00edticas pr\u00f3ximas\u2060. Luego, …<\/p>\n