Automation QA Engineer

Про продукт

Pitch Avatar — SaaS-платформа з інтерактивними AI-аватарами, презентаціями та мультимедійним контентом для онбордингу, корпоративного навчання, підтримки клієнтів і продажів. Користувачі налаштовують аватарів, додають власні джерела знань, спілкуються текстом і голосом та отримують аналітику взаємодії.

Для нас важлива якість усього сценарію: від створення проєкту й підготовки контенту до відповіді аватара та коректного збереження результатів.

Про роль

Шукаємо QA Automation Engineer рівня Middle / Middle+, який розвиватиме автоматизацію та перевірки якості AI-функцій. Ви працюватимете в QA-команді з QA Lead, manual і general/automation QA, використовуючи наявний фреймворк Playwright + TypeScript.

Основний обсяг перевірок виконується через WebSocket: надсилання повідомлень, отримання асинхронних подій і перевірка результату взаємодії з аватаром. Playwright використовується для UI та наскрізних сценаріїв, REST API — для підготовки даних і суміжних перевірок.

Важливі обидва напрями: тестування AI у продукті та практичне використання AI-інструментів для аналізу вимог, написання тестів і розбору дефектів. Очікуємо, що ви можете пояснити й перевірити результат, отриманий за допомогою AI.

Що потрібно робити

— Розробляти й підтримувати автотести WebSocket-сценаріїв на TypeScript: надсилання повідомлень, перевірка очікуваних подій, їх вмісту та завершення сценарію.

— Підтримувати UI та E2E автотести на Playwright; використовувати REST API для підготовки тестових даних і перевірки суміжної логіки.

— Разом із QA Lead визначати пріоритетні перевірки чат-аватара, бази знань, мультимовності, персональних посилань, Enrollments і результатів сесій.

— Створювати набори контрольних запитів та діалогів із чіткими критеріями оцінювання AI-відповідей: відповідність джерелам, дотримання інструкцій, збереження контексту й коректна поведінка за відсутності інформації.

— Перевіряти регресії після змін промптів, моделей, джерел знань і продуктової логіки.

— Тестувати асинхронні процеси, WebSocket-події, loading/error states, тайм-аути та відновлення після помилок; перевіряти текстові й голосові сценарії.

— Проводити exploratory та негативне тестування нових функцій, зокрема доступів, ролей і взаємодії між модулями.

— Підтримувати запуск тестів у CI, працювати з тестовими даними, усувати нестабільні тести та перевірки, які можуть пропустити реальний дефект.

— Готувати зрозумілі баг-репорти та результати перевірок із логами, traces й іншими доказами; співпрацювати з розробниками та продуктовою командою.

Необхідний досвід

— Від 2 років у QA вебпродуктів та практичний досвід написання автоматизованих тестів.

— Практичне володіння Playwright і JavaScript/TypeScript: ви самостійно читаєте, змінюєте та налагоджуєте код тестів.

— Практичний досвід автоматизації WebSocket-сценаріїв: робота з повідомленнями й асинхронними подіями, очікування результату, перевірка тайм-аутів та помилок.

— Розуміння HTTP, JSON, клієнт-серверної взаємодії та базове володіння REST API для допоміжних перевірок і роботи з тестовими даними.

— Уміння проєктувати позитивні, негативні та граничні перевірки з конкретним очікуваним результатом.

— Практичний досвід перевірки LLM-функцій або чатботів у робочому чи власному проєкті. Можете показати, як визначали якість відповіді, виявляли вигадані факти та працювали з варіативністю результатів.

— Досвід використання AI-інструментів у QA-роботі та критичного перегляду згенерованих тестів і коду.

— Git, базовий SQL, браузерні DevTools; уміння аналізувати мережеві запити, логи та причини падіння тестів.

— Досвід роботи з CI-прогонами та діагностикою асинхронних тестів за логами повідомлень і подій.

— Англійська від B1: читання технічної документації та письмова робоча комунікація.

Буде перевагою

— Досвід тестування відповідей на основі бази знань / RAG, мультимовних діалогів і стійкості до спроб змінити інструкції аватара.

— Автоматизовані оцінки якості AI-відповідей (evals), порівняння версій моделі або промпту, контрольні датасети.

— Тестування speech-to-text, text-to-speech, WebRTC та аудіо/відеосценаріїв.

— Перевірка часу відповіді, навантаження та відмов зовнішніх сервісів; досвід k6 або аналогів.

— GitLab CI, Docker, Python для додаткових тестових інструментів.

Ми пропонуємо

— Роботу над продуктом на стику SaaS, AI та мультимедіа.

— Повністю віддалену роботу.

— Офіційний договір з австрійською компанією.

— 25 оплачуваних робочих днів відпустки та оплачувані лікарняні.

— Можливість впливати на автоматизацію та підхід до оцінювання AI-функцій.

— Співпрацю з QA Lead і командою тестування, самостійність у межах своєї зони відповідальності.

Відгукнутись на вакансію