Características y ventajas
Petals es una herramienta que te permite ejecutar modelos de lenguaje importantes como BLOOM-176B de forma colaborativa.
En lugar de tener que invertir en costosa infraestructura de hardware, Petals te permite cargar una pequeña parte del modelo y trabajar cooperativamente con otras personas.
Estas cargan las otras partes para ejecutar inferencias o afinar el modelo para adaptarlo a tus necesidades específicas.
La ejecución de inferencias de un solo lote toma aproximadamente 1 segundo por paso (token), lo que es hasta 10 veces más rápido que la carga externa, lo suficiente para aplicaciones interactivas como chatbots.
La ejecución de inferencias paralelas alcanza cientos de tokens por segundo.
Petals va más allá de las API de modelos de lenguaje clásicas, ya que te permite:
- Emplear cualquier método de afinación o muestreo.
- Ejecutar rutas personalizadas a través del modelo o ver sus estados ocultos.
- Obtener la comodidad de una API con la flexibilidad de PyTorch.
¿A quién se dirige?
Esta herramienta se dirige a cualquier persona o entidad que necesite procesamiento de lenguaje natural y tenga interés en trabajar con modelos de lenguaje importantes de manera colaborativa.
Petals es una herramienta de código abierto que puede ser utilizada en diferentes ámbitos, incluyendo la educación, la investigación, la industria, y el desarrollo de aplicaciones interactivas como chatbots.
Conclusión
Petals está dirigido a cualquier persona que necesite ejecutar modelos de lenguaje grandes de manera eficiente y colaborativa sin tener que invertir en infraestructura costosa.
Puedes unirte a la comunidad de usuarios de Petals a través de Discord o suscribirte por correo electrónico para estar al tanto de las últimas novedades en el desarrollo de esta herramienta.
Con esta herramienta, puedes ejecutar modelos de lenguaje grandes de manera eficiente y colaborativa sin tener que invertir en infraestructura costosa.
