La selección de la herramienta de prueba de rendimiento correcta está llena de dificultades para el principiante. He estado en muchos sitios donde el cliente ha tenido una necesidad urgente y no están seguros de qué dirección tomar. Muy a menudo, estos clientes han experimentado un problema de rendimiento en vivo, han perdido credibilidad con los clientes y sienten que todo el negocio se ha puesto en peligro. Los principales problemas en vivo llaman la atención de los CEO’s de inmediato, y no quieren que esto vuelva a suceder. Entonces, ¿qué herramienta de rendimiento elegir y cómo?
Para los no iniciados es desalentador: existen muchas herramientas, algunas gratuitas, algunas razonables y otras muy caras. Entonces, ¿por dónde empezar? Estas son las preguntas que hago primero:
- ¿Qué causó el problema en vivo?
- ¿Cuál fue el impacto en el negocio?
- ¿Cuál es el plan para introducir una fase de prueba de rendimiento en su ciclo de vida de control de calidad?
- ¿Qué se requiere para ser probado en el rendimiento?
- ¿Con qué frecuencia lanzan nuevas construcciones en vivo?
- ¿Qué capacidad de monitoreo tienen actualmente?
- ¿Tienen alguna herramienta interna?
- ¿Qué tecnologías necesitan ser probadas en rendimiento?
- ¿Habrá presupuesto para un ambiente de desempeño?
- ¿Cuál es el presupuesto para herramientas?
- ¿Qué es el plan para la entrega del proceso de desempeño?
Utilizo las preguntas anteriores para evaluar qué herramientas de prueba de carga se requieren, es sorprendente la cantidad de consultores que recomendarán una herramienta antes de conocer sus respuestas. El siguiente paso es evaluar las herramientas de rendimiento apropiadas, hay muchas herramientas (75+) que es difícil evaluar individualmente en el tiempo asignado. Lo que luego hago es restringir la búsqueda a aquellos proveedores que resolverán mejor el problema y continuarán sirviendo a la empresa en el futuro. Estos son los factores que tomo en consideración:
- ¿Puede la herramienta de rendimiento hacer el trabajo requerido ? ¿Es compatible con los protocolos requeridos ahora y en el futuro?
- Capacidad para aprender la herramienta / soporte de prueba de carga : no sirve de nada usar una herramienta si requiere un conocimiento complejo y no se puede entregar fácilmente a otra persona. Para mí, el mantenimiento y la facilidad de uso son tan importantes como hacer el trabajo requerido. Elija una herramienta donde el código pueda ser fácilmente revisado por pares y entregado si alguien decide seguir adelante.
- Capacidad de volver a escribir : ¿Con qué frecuencia se introducen nuevas construcciones en las pruebas, con qué frecuencia se espera que cambien? ¿Tiene la herramienta buena capacidad de grabación y reproducción? El tráfico del servidor del cliente puede cambiar la frecuencia y el tiempo de desarrollo de los probadores de rendimiento se hace más rápido si pueden volver a grabar una secuencia de comandos de rendimiento en una nueva construcción.
- Soporte para problemas : las herramientas gratuitas son excelentes, pero si tiene un problema, el soporte puede ser muy oportuno. Algunos proveedores tienen excelentes foros, algunos proveedores tienen un soporte pobre. Algunos proveedores simplemente devuelven un conjunto genérico de preguntas. El soporte es clave y puede mover las cosas mucho más rápido.
- Capacidad de monitoreo : la generación de carga es excelente, pero es 100% más útil si se puede vincular fácilmente con métricas y contadores. Las métricas y el software de diagnóstico son igual de importantes. La visibilidad lo es todo.
- Costo / mantenimiento : Cuál es el costo, mantenimiento: sorprendentemente simple y por alguna razón es una pregunta que algunos proveedores tienen dificultades. En un caso, se demoraron más de 4 semanas para que un proveedor de herramientas volviera con un precio por una licencia de usuario virtual de 5k, y luego tomó un día comprender la estructura de precios que habían establecido. Este era un vendedor con un fuerte bloqueo.
- Precio : No tenga miedo de negociar el costo: esto puede ahorrar una cantidad sustancial, en un caso, logré negociar un descuento de £ 400k. La diferencia entre una licencia de usuario virtual de 5k y una licencia de usuario virtual de 20k es una clave de software, sin software, hardware o soporte adicional. Las herramientas gratuitas tienen un precio para – Uno de los más obvios es el tiempo que se tarda en desarrollar las herramientas comerciales de Vs. Otro es el mantenimiento: se podría considerar como el editor de UNIX Vi Vs Word.
No hagas esto:
- ¿Cuál es el mejor coche SUV en la India?
- ¿Cuáles son los mejores lugares para alojarse en Udaipur?
- ¿Qué es una cosa mejor y qué es una cosa peor sobre ti?
- ¿Cuál es la mejor computadora portátil para un estudiante?
- ¿Cuál es la mejor cita o una frase de una película de Hindi y por qué?
- Permita que un proveedor de pruebas de carga ingrese, haga una prueba de concepto y luego tome una decisión basada únicamente en esto. Haga esto a su propio riesgo: se pueden hacer algunas herramientas para hacer el trabajo, pero son costosas de apoyar en el futuro y pueden requerir mucha experiencia costosa. Para evitar el bloqueo, las demoras en el desarrollo y los costos sustanciales hacen que una persona evalúe la herramienta. A los vendedores les interesa vender la herramienta, independientemente de que sea una buena o mala adaptación.
- Primero escriba documentos de selección extensos: conéctese, descargue una herramienta y comience a ejecutar scripts contra la aplicación. Se puede aprender mucho sobre una herramienta al intentar resolver el trabajo en cuestión, en lugar de investigar a través de un documento. También aprendes mucho sobre la aplicación de primera mano: haz un mini POC contra la aplicación y luego escribe un documento. Será mucho más informado, relevante y útil para todos los involucrados. Los proveedores invitados también encontrarán su conocimiento mucho más útil y puede hacerles preguntas más detalladas.
Entonces la respuesta aquí es que no hay una bala de plata; Cada cliente tiene necesidades ligeramente diferentes y cada herramienta tiene fortalezas y debilidades. Las herramientas internas, gratuitas o comerciales realmente dependen de las necesidades y circunstancias de los clientes. Si se enfrenta a la evaluación de herramientas de rendimiento / carga pero está fuera de su profundidad, entonces realmente vale la pena consultar a un asesor de rendimiento independiente. La selección de la herramienta de prueba de rendimiento correcta no debería detenerse aquí: un buen consultor también examinará el sitio en vivo y recomendará herramientas que le darán visibilidad del comportamiento en vivo y ayudará a optimizar el rendimiento. Aquí es donde se pueden adquirir algunos de los mayores ahorros en hardware y tiempo, y se cubrirán en una publicación separada.
