Computer Use permite que un modelo observe una interfaz y proponga acciones de ratón o teclado; la integración aporta el navegador, ejecuta esas acciones y aplica permisos. Una web clara y accesible facilita la interacción, pero no garantiza que cualquier agente complete el flujo.
La documentación de Computer Use de OpenAI describe opciones en las que una aplicación controla el entorno y ejecuta el ciclo de observación y acciones. El modelo no opera por sí solo una sesión de navegador ni debe recibir acceso ilimitado.
El ciclo de interacción
- La aplicación define el objetivo, entorno y permisos.
- El modelo recibe una captura o estado.
- Devuelve acciones estructuradas.
- El controlador ejecuta las acciones permitidas.
- La aplicación captura el resultado y lo devuelve.
- El sistema verifica si la tarea concluyó.
Una acción solicitada no significa que se haya ejecutado ni que el backend la haya guardado. La aplicación debe validar el resultado real.
Haz que los controles sean claros
Etiquetas visibles
Asocia una etiqueta descriptiva a cada campo; no dependas solo del placeholder o de un icono. W3C WAI explica cómo etiquetar controles de formularios. La práctica ayuda a personas que usan tecnologías de apoyo y hace que los campos sean más identificables.
Botones y estados previsibles
Nombra los botones por su acción. Informa de carga, éxito y errores con mensajes cerca del elemento relevante. No hagas que el mismo control cambie de función sin comunicarlo.
Teclado y estructura semántica
Mantén un orden lógico de navegación, controles estándar y nombres accesibles. Un formulario que funciona con teclado suele ser más robusto que una colección de elementos visuales personalizados sin semántica.
No elimines controles de seguridad
CAPTCHA, autenticación, revisión o confirmación pueden ser necesarios. Si un agente no completa una operación, decide si corresponde mejorar accesibilidad o mantener una barrera que protege contra abuso.
Protege acciones sensibles
Lectura pública y envío de datos personales tienen riesgos diferentes. Aísla el navegador, limita los dominios, usa datos ficticios durante pruebas, establece una ruta de escalado y pide confirmación para operaciones con consecuencias. OpenAI detalla aprobaciones de origen y controles del navegador alojado.
El contenido de páginas y documentos debe tratarse como no confiable: no puede conceder nuevos permisos ni anular las instrucciones del usuario.
WebMCP, todavía en evolución
WebMCP propone exponer herramientas desde una página para facilitar tareas a agentes en el navegador. La documentación de Chrome describe su estado y requisitos. Como aún es una capacidad experimental/previa en Chromium, no debe considerarse una dependencia estable sin verificar soporte en los navegadores y agentes previstos.
No es igual a un servidor MCP remoto: WebMCP se integra en el contexto de una página y navegador; un servidor MCP expone herramientas a clientes de IA a través de una conexión.
Prueba un flujo acotado
Escoge una tarea reversible y usa datos simulados. Comprueba que el agente identifica el campo, detecta errores, pide ayuda ante pasos inesperados y llega al estado confirmado por la aplicación. Repite en móvil y escritorio.
Mide finalización, errores, tiempo y necesidad de intervención. Una demo sin fallos no acredita robustez.
Si existe una API autorizada para la operación, puede ser menos frágil que automatizar clics. Computer Use es relevante cuando se debe operar una interfaz; no reemplaza automáticamente API o herramientas. La guía de AWO del blog cubre preparación web y AI Harness explica el entorno de ejecución.
Preguntas frecuentes
¿Computer Use funciona en cualquier web sin integración?
No. Hace falta un runtime que muestre el entorno y ejecute acciones con las reglas de la aplicación.
¿Debo rediseñar todo el sitio?
No. Empieza por la tarea elegida y corrige etiquetas, mensajes, estados y semántica que dificulten tanto a personas como a automatizaciones.
¿WebMCP es obligatorio?
No. Es una capacidad emergente; verifica su disponibilidad antes de depender de ella.
Empieza en un entorno seguro
Prueba un flujo de bajo riesgo con acceso restringido. Si el agente pierde el contexto o no verifica el estado final, mejora primero el diseño y los controles antes de operar con datos reales.
