QA Engineer (AI Agents)

Компания "Аспирити"

Компания: Aspirity Solution
Формат: Удалённо
График: Гибкий, с обязательной доступностью по Pacific Time (7:00–16:00 PT)
Тип занятости: Full-time / Contract

Местонахождение кандидата - вне РФ/РБ

О компании

Мы — Aspirity Solution, студия разработки, уже более 10 лет создающая веб- и мобильные приложения, no-code решения и интеллектуальных AI-агентов для клиентов по всему миру.
Сейчас мы ищем внимательного и системного QA-инженера, который поможет обеспечить стабильность и качество работы наших AI-агентов.

Задачи

• Тестировать и оценивать работу AI-агентов (диалоговых и когнитивных систем).

• Разрабатывать и проводить eval-тесты (оценки корректности и устойчивости поведения агентов).

• Писать тест-кейсы и сценарии для функционального и не-функционального тестирования.

• Анализировать поведение агентов при нестандартных входных данных, выявлять ошибки в логике и промптах.

• Взаимодействовать с командой разработчиков и prompt-инженеров для улучшения моделей и тестовых пайплайнов.

• Поддерживать автоматизацию тестирования и документацию по процессам QA для AI-проектов.

Требования

• Опыт работы в QA (manual или automation) от 2 лет.

• Понимание принципов AI-агентов, LLM-систем, prompt-инженерии.

• Опыт работы с eval-фреймворками (например, OpenAI Evals, DeepEval, LangChain Evals или аналогами).

• Владение Python на уровне написания тестов и простых скриптов.

• Навыки работы с Git и системами отслеживания ошибок.

• Владение английским не ниже B2 — рабочая коммуникация внутри международной команды.

• Самостоятельность, аналитическое мышление, внимание к деталям.

Будет плюсом

• Опыт автоматизированного тестирования AI-агентов или чат-ботов.

• Опыт работы с LangChain, vapi, synthflow или другими инструментами построения агентов.

• Опыт анализа LLM-ответов по метрикам качества (accuracy, coherence, relevance).

• Понимание CI/CD-процессов и инструментов мониторинга.

Мы предлагаем

• Удалённый формат работы и гибкий график.

• Команду инженеров и AI-специалистов, работающих на стыке технологий и продуктового качества.

• Возможность развиваться в области QA для LLM-агентов и AI-систем.

• Оплата по уровню квалификации (от $20/час).