QA Engineer (AI Agents)
30 Октября 2025
Город:
Красноярск
Занятость:
Полная занятость
Компания "Аспирити"
Компания: Aspirity Solution
Формат: Удалённо
График: Гибкий, с обязательной доступностью по Pacific Time (7:00–16:00 PT)
Тип занятости: Full-time / Contract
Местонахождение кандидата - вне РФ/РБ
О компании
Мы — Aspirity Solution, студия разработки, уже более 10 лет создающая веб- и мобильные приложения, no-code решения и интеллектуальных AI-агентов для клиентов по всему миру.
Сейчас мы ищем внимательного и системного QA-инженера, который поможет обеспечить стабильность и качество работы наших AI-агентов.
Задачи
-
Тестировать и оценивать работу AI-агентов (диалоговых и когнитивных систем).
-
Разрабатывать и проводить eval-тесты (оценки корректности и устойчивости поведения агентов).
-
Писать тест-кейсы и сценарии для функционального и не-функционального тестирования.
-
Анализировать поведение агентов при нестандартных входных данных, выявлять ошибки в логике и промптах.
-
Взаимодействовать с командой разработчиков и prompt-инженеров для улучшения моделей и тестовых пайплайнов.
-
Поддерживать автоматизацию тестирования и документацию по процессам QA для AI-проектов.
Требования
-
Опыт работы в QA (manual или automation) от 2 лет.
-
Понимание принципов AI-агентов, LLM-систем, prompt-инженерии.
-
Опыт работы с eval-фреймворками (например, OpenAI Evals, DeepEval, LangChain Evals или аналогами).
-
Владение Python на уровне написания тестов и простых скриптов.
-
Навыки работы с Git и системами отслеживания ошибок.
-
Владение английским не ниже B2 — рабочая коммуникация внутри международной команды.
-
Самостоятельность, аналитическое мышление, внимание к деталям.
Будет плюсом
-
Опыт автоматизированного тестирования AI-агентов или чат-ботов.
-
Опыт работы с LangChain, vapi, synthflow или другими инструментами построения агентов.
-
Опыт анализа LLM-ответов по метрикам качества (accuracy, coherence, relevance).
-
Понимание CI/CD-процессов и инструментов мониторинга.
Мы предлагаем
-
Удалённый формат работы и гибкий график.
-
Команду инженеров и AI-специалистов, работающих на стыке технологий и продуктового качества.
-
Возможность развиваться в области QA для LLM-агентов и AI-систем.
-
Оплата по уровню квалификации (от $20/час).
Зарегистрируйтесь или войдите, чтобы открыть контакты работодателя
Прикрепите резюме для отклика
Уже с нами?
Войдите, чтобы отправить резюме
30 Октября
AI Integration Specialist( Аспирити )
Красноярск
Компания "Аспирити" Привет! Мы, " Aspirity Solution ", студия разработки, которая уже 10 лет создает веб и мобильные приложения, ноу-код решения...
28 Октября
Красноярск
Компания "Аспирити" Привет! Мы, " Aspirity Solution ", студия разработки, которая уже 10 лет создает веб и мобильные приложения, ноу-код решения...
29 Октября
Fullstack PHP разработчик (Laravel + AI)
Красноярск
Компания "СП Солюшен" Мы работаем в сфере интернет-трафика, big data и высоконагруженных продуктов, активно развиваемся в направлении AI. В...
31 Октября
Fullstack & Development Engineer (платёжная инфраструктура)
Красноярск
Компания "Макс Финанс" О компании MF Stream — платёжная система нового поколения. Мы строим собственную инфраструктуру эквайринга:...
28 Октября
Красноярск
Компания "ЕвроСибЭнерго, группа компаний" Эн+ Диджитал - молодая, активно развивающаяся ИТ-компания. Входим в реестр организаций,...
Вакансия размещена в отрасли