От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
Фреймворк компетенций APM или как понять возможности Вашей команды тестирования
1. Software quality assurance days
18 Международная конференция
по вопросам качества ПО
sqadays.com
Москва. 27–28 ноября 2015
Ефремова Дарья
PerformanceLab. Москва, Россия
Фреймворк компетенций APM или как понять
возможности Вашей команды тестирования.
2. Фреймворк компетенций APM или как понять возможности Вашей команды тестирования.
Биография
Опыт:
•Soft-производящая компания;
•Аутсорсинг.
Выступление на SQADays16
Для одних я родом с соседней галактики, для других просто с
другого конца страны (Хабаровский край).
Ломать и тестировать –
не призвание, а карма.
3. Фреймворк компетенций APM или как понять возможности Вашей команды тестирования.
План
Предпосылки
Проблема
Решение
Компетенции
Профиль
Анализ результатов
Бонусы
3
5. Фреймворк компетенций APM или как понять возможности Вашей команды тестирования.
Предпосылки
Непонимание реальной квалификации сотрудников;
Проекты разные по сложности;
Проекты разные по специфике;
Проекты децентрализованы;
5
6. Фреймворк компетенций APM или как понять возможности Вашей команды тестирования.
Проблемы
Затрудненное распределение специалистов на проекты;
Неэффективное выполнение задач по тестированию;
Низкая мотивация специалистов к профессиональному развитию.
6
7. Фреймворк компетенций APM или как понять возможности Вашей команды тестирования.
Ежедневные вопросы
Какого специалиста в рамках одной должности определить на проект?
Как понять, что его компетенций будет достаточно?
На сколько качественно сотрудник выполнит задачи?
Как определить уровень развития специалиста?
7
8. Фреймворк компетенций APM или как понять возможности Вашей команды тестирования.
APMBOK (Association of Project Management Body of Knowledge)
APMВОК — национальный стандарт Великобритании.
Разработан как руководство для практиков, консультантов, топ менеджеров в
проектных организациях и т.д.
Инструментальный, стратегический менеджмент проектов.
Решение.
Каталог Компетенций
8
9. Фреймворк компетенций APM или как понять возможности Вашей команды тестирования.
The APM Competence Framework (2008)
Структура компетенций APM, которое является руководством для ранжирования и
оценки индивидуальных компетенций в области управления проектами.
9
Решение.
Каталог Компетенций
10. Фреймворк компетенций APM или как понять возможности Вашей команды тестирования.
Адаптация фреймворка АРМ
Направления:
профессиональные компетенции;
специальные компетенции;
технические компетенции;
личностные компетенции.
10
11. Фреймворк компетенций APM или как понять возможности Вашей команды тестирования.
Компетенции.
Состав
11
12. Фреймворк компетенций APM или как понять возможности Вашей команды тестирования.
Интересные детали
100500 Вопросов для оценки
∽ Часов на прохождение оценки
200 Человек в очереди на оценку
200 Человек провалили оценку
12
14. Фреймворк компетенций APM или как понять возможности Вашей команды тестирования.
Пример оценки
специалиста
14
15. Фреймворк компетенций APM или как понять возможности Вашей команды тестирования.
Анализ результатов
Результат аттестации Кол-во, чел
Соответствуют (текущий уровень профиля) 9
Соответствуют (следующий уровень профиля) 2
Не соответствует
1
Результат аттестации ПК ТК СК ЛК
Соответствуют (текущий уровень профиля) 5 9 6 8
Соответствуют (следующий уровень профиля) 7 2 6 4
Не соответствует 0 1 0 0
15
17. Фреймворк компетенций APM или как понять возможности Вашей команды тестирования.
Выводы
17
Эффективные команды на проектах;
Качественные услуги по тестированию;
Прозрачная схема развития.
18. Фреймворк компетенций APM или как понять возможности Вашей команды тестирования.
Планы. Перспективы.
Регулярность тестирования: каждые 6 месяцев.
Прохождение единожды на занимаемую должности при устройстве на
работу / новая должность.
Тестирование на получение новой должности возможно 1 раз в год.
18
Коллеги, добрый день!
Меня зовут Ефремова Дарья и я представляю компанию Performance Lab.
Сегодня мы поговорим на тему: Фреймворк компетенций APM или как понять возможности Вашей команды тестирования.
Немного обо мне:
Я работала в разных по направленности компаниях и курировала проекты порядка 10 различных банков, входящих в ТОП 15.
Команды всегда были разные. Порой в рамках одного проекта их полностью меняли и каждый раз перед нами стояли вопросы: А что мы можем сделать реально? На какие подвиги мы готовы?
И теперь пора перейти к нашей теме.
Двигаться будем по следующему плану (показываю на слайд).
Так как мое выступление посвящено оценке возможностей как команды тестирования в целом так и каждого специалиста, то
Основная моя цель – донести до вас один из способов оценки специалистов тестирования, а также возможность использования результатов для эффективного выполнения задач и проектов по тестированию.
Мы рассмотрим все этапы проведения оценки от формирования идеи до её реализации.
Я работаю в компании более 2х лет.
Когда пришла, то ее штат был в 2 раза меньше, чем сейчас. Все друг друга знали.
Руководители направления участвовали в той или иной степени в каждом из текущих проектов.
Они знали большинство сотрудников лично, кто что знает и кто на что способен.
НО!
За 2 года динамичного развития компании ее внутренняя ситуация изменилась.
Штат, как я уже говорила, вырос в 2 раза и составляет более 300 сотрудников. Особенно эти изменения видны при анализе состава Направления ФТ.
В связи с этим возник ряд проблем.
-Ресурсный менеджер не всегда понимает реальную квалификации каждого сотрудника;
-Наши проекты разные по сложности;
-Проекты разные по специфике (банки, телеком, ритейл, гос сектор);
-Проекты децентрализованы;
Все это накладывает определенный отпечаток на нашу работу.
И приводит к следующей ситуации:
Задачи выполняются с точки зрения как оптимизации затрат на тестирование, так и с точки зрения результативности, не эффективно, что в обоих случаях может привести к провалу.
В таких ситуациях механизмы управления, которые применялись в условиях дружного и небольшого коллектива, перестают действовать, что зачастую характерно для аутсорсинга, либо больших распределенных географически команд.
По мимо всего прочего специалисты, долго находящиеся на одном проекте теряют мотивацию к собственному развитию исполняя исключительно оперативные задачи.
Обозначенные проблемы заставляют нас ежедневно при ресурсном планировании сталкиваться со следующими вопросами:
Обозначенные проблемы заставляют нас ежедневно при ресурсном планировании сталкиваться со следующими вопросами:
- Какого специалиста в рамках одной и той же должности необходимо определить на проект?
- Как понять, что его компетенций будет достаточно?
- На сколько качественно сотрудник выполнит поставленные задачи? Как это измерить?
- Как определить уровень развития специалиста? Растет или деградирует?
В решении данных вопросов мы обратились к стандарту APM, а точнее к его дополнению.
Итак
APMBOK — национальный стандарт Великобритании, охватывает 52 области знаний, необходимых для успешного ведения проекта.
Разработан был как руководство для практиков, консультантов, топ менеджеров в проектных организациях и т.д.
APM является одной из крупнейших независимых профессиональных ассоциаций по проектному менеджменту в Европе.
К стандарту существует дополнение, которое называется The APM Competence Framework (2008)
Он нас и интересует.
Это структура компетенций APM, которое является руководством для ранжирования и оценки индивидуальных компетенций в области управления проектами.
The APM Competence Framework выделяет три группы компетенций — технические, поведенческие и контекстные
В связи с нашей спецификой, я напомню, что это аутсорсинг, мы контекстные компетенции разбили на 2 части.
Связано это с тем, что профессиональные нужны всем сотрудникам, а специальные во многом зависят от конкретных проектов
В итоге в него вошли следующие направления:
проф компетенции
тех компетенции
спец компетенции
личностные компетенции
Оценка по каждому из направлений позволит понимать возможности каждого специалиста.
Это формируется путем проведения оценки и сравнивается с эталонным значением для текущей должности.
Каталог состоит из списка необходимых компетенций.
Каждой дается определение
В связи с тем, что компетенция может быть сама по себе достаточно сложной, то она разбивается на индикаторы.
Они же в свою очередь должны оцениваться по знаниям и опыту.
В конечном итоге одна компетенция выглядит следующим образом.
1. При первоначальном создании каталога мы разработали 25 компетенций, каждая из которых в среднем состояла из 6 индикаторов.
Для проведения оценки на каждый индикатор требуется 2-3 вопроса. В итоге прохождение такого теста может занимать порядка 2 рабочих дней, что естественно не допустимо.
2. Кроме того вопросы бывают 3х типов и один из них открытый, где сотрудник развернуто решает ситуационный кейс. Его, естественно, невозможно проверить машинным путем. Соответственно на проверку минимум 800 открытых вопросов также необходимо колоссальное количество времени.
3. В связи с тем, что необходимо провести оценку для 200 сотрудников единовременно возникает организационный момент. Но это уже другой разговор)))
4. Не стоит забывать что существует вероятность провала оценки всеми специалистами в связи с завышенными ожиданиями по скоррингу. Вопрос: Как бороться со своим перфекционизмом? Для этого мы попросили наших ведущих инженеров проставить баллы к индикаторам на свой взгляд. При анализе убедились, что скорринг соответствует нашим ожиданиям.
Существует базовый/эталонный профиль.
При оценке каждого сотрудника проводится сравнение его показателей на соответствие занимаемой либо желаемой должности.
Профиль может выглядеть следующим образом как показано на слайде. (следующий)
Вы видите реальный пример сотрудника и его сравнение с текущей должностью и ожидаемой.
Мы провели аттестацию TDшников на одном из проектов.
Рассмотрим результаты на примере оценочной группы из 12 чел:
9 – соответствует профилю
1 – не соответствует профилю
2 – соответствует следующему по уровню профилю
Эти же числа в разрезе всех 4х направлений
Ремарка (проф, тех, спец, личностные)
В дальнейшем, помимо понимания где мы можем привлекать того или иного специалиста, мы можем его мотивировать путем составления индивидуального плана развития. Этот план позволяет давать сотрудникам прозрачную схема роста, что естественно мотивирует специалиста для длительной работы в компании.
Внедрение каталога компетенций позволяет:
Формировать команду учитывая специфику проекта
Повышение качества оказываемых услуг по тестированию за счет повышения профессионализма сотрудников.
Создать прозрачную схему по профессиональному развитию специалистов дабы исключить ситуацию под названием «упереться в потолок»
А теперь немного о планах:
Прохождение единожды на занимаемую должности при устройстве на работу / новая должность. Длительность около 2,5 часов. Регулярность: каждые 6 месяцев.
Один раз в 6 месяцев возможно тестирование на присвоение грейда в рамках должности.
Тестирование на получение новой должности возможно раз в год. Решение о направлении на тестирование сотрудника принимается на основе карточки сотрудника с отметками об опыте и тестирования на соответствие занимаемой должности проведенное ранее.