Case study

事業の資料と依頼を1か所にまとめる場所の、速さと戻しやすさをどう測ったか

ひとことで

小さな事業の資料と、お客様に決めてもらうことを、1か所にまとめる場所を作りました。使い始める前に、速さの基準を決めて測り、データを戻せることを照合して確かめました。

お客様

個人向けの商品とサービスを準備している、小さな事業です。

困っていたこと

  • 事業の資料が多く、ファイルや会議で渡すと、どれが最新かが分からなくなる
  • お客様に決めてもらうこと、教えてもらうことが、会話や連絡の中に散らばっていた
  • 外部の人にも見せる場所なので、遅くならないこと、壊れても戻せることを、使い始める前に確かめておく必要があった

一緒に作った仕組み

資料の置き場事業の文書を章ごとに載せる。内容を確かめて確定した章だけを、お客様に見せる
依頼と回答決めてほしいこと、教えてほしいことを「依頼」として出し、回答と決定の記録を残す
入れる人Googleのアカウントでログインする。役割によって、見える範囲を分けた
AIとの連携決めた進め方は、AIは資料を読むことと答えの下書きまで。送信と決定は、人が押す
測り方速さと戻しやすさの基準を先に決め、試験用のデータで測る

測り方の中身

実際のお客様のデータは使わず、試験用のデータで測りました。測る前に、基準を決めました。

速さ基準は「操作ごとに100回測り、遅い方から5%を除いた値（p95）が2秒以内」。依頼200件、資料100件、提出2000件、利用者10人の試験データを入れて測った
測る構成メモリの上の簡易なデータベースと、本番に近いデータベースの2種類に分けて測った。Googleの認証の往復と、大きな書き出しは含めていない
同時に使われたとき10人が同時に担当の依頼へ提出し、提出1件ごとの記録と、全体の集合が一致するかを照合した
戻しやすさ（試験用）データの書き出しを、別の新しいデータベースへ戻し、依頼・提出・履歴の全部の版が一致するかを照合した。表ごとの整合の検査も通した
戻しやすさ（変更のたび）本番に変更を入れる前に、控えを取り、別のデータベースへ戻せることを検査した。その控えに変更を当て、前後で件数と中身の指紋（ハッシュ値）を比べた
測っていないこと同じ表に「未検査」と書いた（下の「変わったこと」）

特に力を入れたのは、「何を含めて測ったか」「何を測っていないか」を、数字と同じ場所に書くことです。試験に通った事実を、本番の性能に広げて言わないためです。

期間

設計の承認から、お客様が使い始めるところまで、約1週間でした。その後も、画面と中身を直し続けています。

変わったこと

測った結果を示します。使い始める前の確認で得た数字で、すべて試験用のデータのものです。事業への効果は、まだ測っていません。

速さ（100回ずつ・p95）最も遅い操作は、1件の依頼の詳細を開くこと。本番に近い構成で約0.4秒。ほかの操作は約0.05秒以内。基準の2秒を、すべて下回った
同時の提出10人が同時に出した提出が、1件ごとの記録も全体の集合も一致した（メモリ上の構成で確認）
試験用データの復元書き出しを新しいデータベースへ戻し、全10表の全部の版が100%一致した
変更の前後の照合変更前に取った控えと、変更後の控えを比べ、既存の20表の件数と中身が同じだと確かめた。変わったのは、変更で足した表と、入れた章の記録だけだった
確定した章の中身公開の前に確定した章の中身が、AIが確かめたときの控えと、すべて一致した

測っていないこと（未検査）は、次のとおり。

本番のデータベースの全負荷測っていない
スマホの幅・10Mbps・遅延100ミリ秒の条件で、画面が3秒以内に操作できるか未検査
帯域を絞った条件で、同期が120秒以内に終わるか未検査
本番のデータを、実際に過去の時点へ戻す操作本番では行っていない
本番に近い構成で、10人が同時に提出したときの負荷未検査

AIの導入を任された人へのヒント

  1. 速さの基準は、作る前に数字で決める。ここでは「2秒以内」と先に決めたので、測った後に「速いか遅いか」を、感覚でなく基準で言えた
  2. 戻せることは、「バックアップを取った」では終わらせず、「戻して、中身が一致するか」まで確かめる。控えが戻せなかったと分かるのは、戻そうとしたときでは遅い
  3. 測っていないことを、結果と同じ表に書く。AIが作った仕組みは、試験に通ったことと、本番で速いことが、別の話になりやすい

AIを使った仕組みを作る前に、速さや戻しやすさの基準を決めたいときは、AI顧問の相談役にお声がけください。

AI顧問について相談する