隣のチームのQAエンジニアとペアテストをやってみました

QA

こんにちは、カトです。弥生でQAエンジニアをしています。現在担当しているサービスはスマート証憑管理です。
今回、スマート証憑管理の新機能のペアテストを実施してみました。ペアを組んだ相手は、普段はスマート証憑管理とは別のサービスのQAを担当しています。カトとは、一緒に業務をする機会のないメンバーです。

ことのはじまり

弥生のQAエンジニアは、QAエンジニアチームへの所属ではなく、プロダクトごとに所属しています。 tech-blog.yayoi-kk.co.jp

弥生でQAエンジニアになったメンバーは、弥生の担当しているプロジェクトでの業務に詳しくなり、うまく業務を進められていても、他のプロジェクトにも適用できる知識を身につけられているのか適切に自己判断することが難しい状況です。
短期間で担当プロダクトを異動したり、元のプロダクトに戻ったりすることもできず、なかなか複数のプロジェクト・プロダクトを経験するという実績ができない状況です。

QAエンジニアを育成したいと思っている人は、自分と育成する人の担当プロジェクトが異なる場合、一般的なアドバイスやQAの標準に関する知識や経験を話すことにとどまってしまい、実際の現場でどのような立ち回りをしているのかをうまく伝えることが難しい状況です。
一緒のプロジェクトで働くことで実業務に即したお話しができるようになるのではないかと考えていました。

この、「他のプロジェクトで学びたいQAエンジニア」と、「後進を育成したいと思っているQAエンジニア」のやりたいことが合致した結果、9日間の短期留学風にプロジェクトを異動して一緒に業務をするという機会を作ることにつながりました。

「他のプロジェクトで学びたいQAエンジニア」の上長から、「ただの作業者になってしまって新たな経験が積めないのであれば、この短期留学風経験は実施できない」というもっともなご意見をいただきました。そして、「所属しているプロジェクトの都合上、3月中旬までの期間で実施できれば」とのことでした。
短期留学風先のプロジェクトとして候補にあがった中から、スマート証憑管理であれば、期間の中でプロジェクトやプロダクトを把握し、実績をつくり、学ぶことができると考え、 9日間スマート証憑管理のプロジェクトに参画することで学べるメリットをお伝えしました。

2023年3月にスマート証憑管理のQAとして参画するメリットは次のとおりです。

  • スマート証憑管理は複数のサービスと連携しており、短期間で複数の弥生サービスを操作する経験ができる
    • スマート証憑管理の他、弥生会計、弥生会計 オンライン、SMART、弥生販売、Misocaを操作する
  • アジャイル型開発手法を取り入れていて、ウォーターフォール型開発との違いを体験できる
    • ウォーターフォール型開発を対応しているメンバーにとって、テストの進め方や確認方法が普段経験している方法とは異なる経験ができる
  • スマート証憑管理の障害修正の速さ、対応の正確さを体験することができる
    • 1日複数回のデプロイを実施、障害票起票から修正完了までが1日以内で進むプロジェクトにおけるQAエンジニアのふるまいを見ることができる
  • スマート証憑管理チームで実施しているペアテストに参加できる
    • 弥生開発本部の他チームではまだ実施していない、ペアテストを体験することができる

その後、各種許可・承認を得て、短期留学風プロジェクト異動計画がスタートしました。

ペアを組んだ2人の簡単な情報は次のとおりです。

名前 QA歴 弥生歴 スマート証憑管理歴
カト 15年 6年 2年
ふくだ 2年 合計5年（※） 0年

※「合計」の理由が気になる方はふくださんのブログもご覧ください。

tech-blog.yayoi-kk.co.jp

ペアテストの前に

トレーニング、シナリオテストの実施

「ペアテスト」での学びを持ち帰ってほしいと考えましたが、ドメイン知識がない状態ではなかなかテスト観点を出せず、お客さん状態になってしまいます。

スマート証憑管理の動作を確認するためには、以下のサービスを操作したり、連携結果を確認したりする必要があります。

スマート証憑管理の他に、3つのデスクトップ製品（弥生販売・弥生会計・やよいの青色申告）と、4つのオンラインサービス（Misoca、弥生会計 オンライン、やよいの青色申告 オンライン、やよいの白色申告 オンライン）の操作を把握しなければ、スマート証憑管理のテストができません。

www.yayoi-kk.co.jp

そこで、事前に作成していた操作マニュアルとシナリオテストの手順をお渡しして、自由に操作してわからないことを聞いてもらう時間をとりました。

デスクトップ製品のインストールや環境構築を含め、作業実績時間は8.5時間でした。
留学先のスマート証憑管理に専念していれば、1日+αの工数です。実際には、本業の作業と並行していたり、JaSST'23 Tokyo参加の時期と重複していたため、4日間にわけての実施となりました。

本題からずれますが…JaSST'23 Tokyoのブログもぜひご覧ください。 tech-blog.yayoi-kk.co.jp

操作マニュアル作成時に記載が漏れていた"初回起動時のみ実行する手順"に気づいてマニュアルを更新してもらったり、「途中まで進めたけれど、次のアクションがわからない」といった質問があがりました。
日々の操作で慣れてしまって無意識でやってしまっている操作に対する気づきがあった一方で、当初考えていたより質問が少なく作成したマニュアルに必要事項を盛り込めていることを確認できました。
受け入れたチームにとってもプラスになる効果がありました。

豪華なマニュアルを作成する必要はありませんが、複数のサービスをまたがってのテストをするためには、各サービスの基本的な操作がまとまった情報があると、取り組みやすいようです。

ペアテスト実施

いよいよ、留学のメインイベント、ペアテストの実施です。
ペアテストはカトとふくださんで1日実施しました。

テストする新規機能についての要件を説明したあと、それぞれにテスト手順書を手元で開き、カトが画面共有をして話ながら操作を実行、ふくださんはお互いが話した気になることをメモしてもらうという役割分担で実施しました。

そして、定期的にメモを確認して、テストを実行する中で気になったことを探索的にチェックしていきました。

下図は実施したテストの一部を抜粋した図です。GIHOZで作成しました。

担当しているプロダクトが違っても、「赤字で記載した、ゼロに戻すための状態遷移実行後の画面で不整合が起こりがち」という共通の確認ポイントがあり、お互いの普段のテストの実行内容の確認にもなりました。
ちなみに、今回実施したスマート証憑管理の画面では、ゼロに戻す状態遷移を実行後の画面では1件の障害検出もなく、全件Passしました。

本題からずれますが…GIHOZの利用について発表してきたので、こちらもぜひご覧ください。 speakerdeck.com

2.5時間のペアテストで実施したテスト項目は約50件、検出した障害や改善提案は4件でした。いずれも軽微な事象ではありましたが、会話をしながらテスト実施することで、画面間の文言の違いや画面表示で気になる点を検出することができました。

感想

短期留学風経験を利用して、ペアテストを実施してみました。 ペアテストを実施することで感じたことは以下のとおりです。

  • ペアを組む人の関係性がテストに影響する
    • 一方の人が話し、相手の人が「Yes」というだけの関係性や、うまく会話ができない状態でのペアテストは成り立ちません。
      お互いに対等に話せるような関係性でのテスト実施が大切です。
  • ドメイン知識は、ペアを組む人のうち一人があればよい
    • これから実行するテストの概要を説明して共通理解をすることで、テスト対象のドメインの知識をペアの2人が同等に持っていなくても確認しあいながらテスト実施が可能です。
    • 双方がドメイン知識を持たない状態でペアテストをしてしまうと、操作や確認に時間がかかってしまい、なかなかスムーズにすすめられなさそうです。
  • テスト知識は双方にあったほうがよい
    • 「何をテストするか」は記述型テストでも探索型テストでもテスト計画者・テスト設計者の腕の見せ所です。
    • テスト観点を言語化して説明しあいながらテストができないとペアを組む相手への説明ができず、有効なテストをすることができません。
  • 画面共有して操作を見てもらうことで、操作の癖に気づける
    • 普段ひとりで操作をしているときには気づきにくい、自分の癖を教えてもらうことができます。
    • 「テスト中に画面をリフレッシュする回数が多い」「複数の方法で画面遷移可能な場合、その操作をするんだ」とお互いに指摘しあうことで、自分や相手の癖を知り、自分がやっていなかった操作にも気づくことができます。

今回はQAエンジニア2人で、テスト環境に新規追加された機能の確認として、ペアテストを実施しました。
エンジニアやUXデザイナー、開発本部以外のメンバーにテストの様子を見てもらうことで、お互いに新たな気づきがあるかもしれないと考えています。
次の機会には、ペアテストを見てもらったり、ペアテストやモブテストに参加してもらったり、QAエンジニアが実施していることを周知できるような活動を検討していきます。

弥生のQAエンジニアが気になる方、4月20日の もくテク ぜひご覧ください！
mokuteku.connpass.com

日々の業務にアレンジを加えて楽しく！
弥生のQAエンジニア 品質保証リーダー(QL) として一緒に働いてみませんか？
herp.careers