Software Technical Leader - GenAI Gateway

Como Software Technical Leader en Mercado Libre, diseñarás y escalarás sistemas innovadores y seguros que resuelven problemas reales y de alto impacto. Trabajarás en un entorno dinámico con tecnología de vanguardia, aplicando buenas prácticas de ingeniería, modelos de IA propios y aprendizaje continuo, con el propósito de democratizar el comercio electrónico y los servicios financieros en América Latina.

Imagináte emprendiendo proyectos desafiantes, dinámicos e innovadores y siendo responsable de:

• Liderar técnicamente la estrategia de inferencia de modelos open source, definiendo la arquitectura de serving y estrategias de optimización de costo y latencia.
• Diseñar e implementar soluciones de token compression, prompt caching, optimización de KV-cache y quantización para mejorar el throughput y reducir costos a escala.
• Desarrollar componentes core del gateway en Go, garantizando alta disponibilidad, bajo overhead y escalabilidad horizontal.
  Apply for this Position