こんにちは！遊軍チームに所属しているRKTMです。
先日、ボルダーの課題開拓で3本の課題設定&初登できました。簡単な課題ですが、初登者として名前が残るのは特別な気分ですね。
機能の廃止を分析に基づいて決断する
さて、最近Misocaでは、「チュートリアル機能」を廃止しました。
機能を廃止するというのは大きな決断でしたが、今回はその廃止にいたるまでの経緯と分析について書くことにします。
当たり前のことを当たり前にやっているだけですが、Misocaの意思決定の一例としてお読みいただければ幸いです。（分析は、機密情報に触れる部分があるため、概要に留めています。また、KPIについても同様に詳細は省略しています。）
「チュートリアル機能って効果あるの？」
Misocaにおけるチュートリアルは契約直後のお客様全員に表示される機能でした。
内容は最初の請求書を1枚作る手順をインタラクティブに説明するものです。
チュートリアルを導入したのは4年前。 当初はKPIに効果があることを確認しましたが、それ以降ユーザー新規登録導線に様々な変更があったものの、チュートリアルは大きく変更されないまま残ってきました。
ですが、ここ数ヶ月で「チュートリアル、消したほうが良いのでは？」という気運が高まりました。
理由は以下の通りです。
- 開発面：古いコードであり改修もほとんど行われておらず、またメタプログラミングも使われており、改修できる開発者も限られてレガシーコードと化していた（注：開発当時は目的を達成するためにこれで正解だったのですが、開発者の構成の変化などによりメンテしづらくなってきました）
- 効果面：「ユーザー新規登録導線が色々変わったのに、今もチュートリアルは効果あるの？」という疑問
- 改善要求：ユーザー体験を向上するために、現状のチュートリアルではない別の施策を実施したい
消す？残す？データを基に判断しよう
開発者としては
- メンテしづらいコードは削除してスッキリしたい気持ち
- せっかく作ったものだから残しておきたい気持ち
の両方を感じます。
が、そこは感情ではなく、データを基に効果の有無を判定することにしました。
データ分析
以下の通り仮説を立てました。
- 帰無仮説: チュートリアルを開始した群とチュートリアルを開始しなかった群において、KPIに与える影響に差はない。
- 対立仮説: チュートリアルを開始した群とチュートリアルを開始しなかった群において、KPIに与える影響に差はある。
地道な作業（チュートリアルを開始した／していないの判断方法をどう定義するか、どのKPIを対象とするか）を経て、データを集め、JupyterLabを使ってデータを分析します。
棒グラフで見てみると、チュートリアル開始した群も、開始しなかった群も、ほぼ同じ値を示していました。
ぱっと見でも差がないのでこの段階で「差はなし！」と結論を出したいところですが、念の為、カイ二乗検定を行います。
p値は5%よりも大きなものであり有意差があるとは言えません。 よって、「帰無仮説: チュートリアルを開始した群とチュートリアルを開始しなかった群において、KPIに与える影響に差はない。」は棄却できないことがわかりました。
前述の「開発面、効果面、改善要求」の通り、
- チュートリアル機能はレガシーコードと化していたこと
- 明確に効果があると言えなくなったこと
- チュートリアル以外の施策に取り組みたいこと
以上の点からチュートリアル機能を削除することを決定しました。
今後は、チュートリアルがなくてもわかるようなUIを設計する、など、施策を試して行きたいと思います。
データ分析によって、自信をもって判断する
一度作り込んだ機能はサンクコストもあり、感情的にも消しづらいものです。
今回は統計的な分析を行うことで、感情ではなく論理によって、機能を削除する決断ができました。
チュートリアルは「過去効果があった」「今も効果が（多分）ありそうだ」という印象で残されてきた機能だったので、このタイミングで改めて分析し、効果を測ることができて良かったです。
Misocaでは、まだまだ分析して改善すべきところがあるため、今後も統計的な分析を続けていこうと思います。
採用
Misocaでは、データを分析して、ロジカルに判断できるエンジニアを募集しています。
