第0章で学んだ「手放さない3つ」のうち、この章は検証眼を鍛えます。AIは驚くほど有能で、そして、驚くほど自信満々に間違えます。この章では、私自身がAIと機械学習で株価予測システムを作り、検証によって「使えない」と結論づけ、撤退した実話を教材にします。委託する者にとって、疑う技術は信じる技術と同じだけ重要です。
🎬 第4章 冒頭動画
この節で分かること：なぜAIは間違えるのか。そして、なぜその間違いは見抜きにくいのか。
第1章の実験で、AIがもっともらしい嘘をつく場面を体験してもらいました（ハルシネーション）。この章では、その現象を「事故」ではなく「構造」として理解します。
生成AIは、事実のデータベースを検索して答えているのではありません。「この文章の続きとして、最も自然な言葉は何か」を予測し続ける仕組みです。だから、知らないことを聞かれたときも、検索エンジンのように「見つかりません」とは言いません。それらしい続きを、流暢に生成します。存在しない書籍名、実在しない統計、微妙に違う法律の条文——形式は完璧で、中身が間違っている。これがAIの間違い方の特徴です。
人間の間違い方とは逆であることに注意してください。人間は、自信がないとき、言葉が濁ります。「たしか…」「うろ覚えですが…」。私たちはその濁りを手がかりに、相手の情報の確度を測って生きてきました。しかしAIには、この濁りがありません。確度20%の答えも、確度99%の答えも、同じ流暢さで出てくる。だから、話し方から真偽を見抜くという人間の習慣が、AIには通用しないのです。
ここで、第0章の言葉を思い出してください。委託が盲信に変わる瞬間とは、出力の妥当性を自分で評価できなくなった瞬間です。優秀な部下でも、報告を一切確認しない上司の下では、いつか大きな事故が起きます。AIへの委託も同じで、検証は委託とセットで初めて機能します。
では、何をどう疑えばいいのか。この章の残りで、私の実体験を使って具体的に見ていきます。
%% title: 人間とAIの「間違い方」の違い
flowchart TB
T["間違えるとき、どう話すか"]
T --> H["<b>人間</b><br/>確信がないと言葉が濁る"]
T --> A["<b>AI</b><br/>確信度によらず流暢"]
H --> H2["濁りで検知できる"]
A --> A2["話し方では検知できない"]
A2 --> N(["だから「検証の技術」が必要"])
style A fill:#ffffff,stroke:#E8B04B,stroke-width:3px,color:#0A1124この節で分かること：検証を怠っていたら騙されていた、という実例。魅力的な数字が持つ引力。
先にお断りしておきます。この節と次の節は投資の話が出てきますが、投資のやり方を教える内容ではありません（それは株式投資コースの領域です）。ここで扱うのは、「AIの出した素晴らしい結果を、どう疑うか」という一点です。
私はFPであると同時に、AIとの協働で様々なシステムを作ってきました。その中で、こう考えたことがあります。「AIと機械学習で、株価の値動きを予測できないか」。
作ったものを簡単に説明します。日本株の過去データを取り込み、機械学習モデル（LightGBMという手法）に25以上の特徴量——RSI、MACD、ボリンジャーバンド、一目均衡表といったテクニカル指標を含む——を学習させ、5日間の価格変動を予測させる。そして過去のデータで「もしこの予測に従って売買していたら、どうなっていたか」を計算する。これをバックテストと呼びます。
結果は衝撃的でした。
AIの戦略：リターン +85%。ただ買って持ち続けた場合：+55%。 しかも資産が最大でどれだけ目減りしたかを示す最大ドローダウンは、AI戦略が8%に対し、買い持ちは41%。
つまり画面上の数字は、「AIのほうが儲かって、しかもはるかに安全」と言っていました。
さて、ここで質問です。この数字を見たあなたは、次にどうしますか。
多くの人の頭には「すごい、これで運用すれば…」という未来が浮かびます。SNSには実際、この手の「AIで年利◯◯%」という投稿があふれていて、大きな注目を集めています。魅力的な数字には、検証を省略させる引力があるのです。
私がそうしなかったのは、才能ではありません。第0章で決めた線引き——検証眼は手放さない——を、機械的に守っただけです。そして検証を始めた私は、この+85%の裏側で、まったく別の景色を見ることになります。
この節で分かること：「良すぎる結果」の正体の見抜き方。私の検証で実際に起きた3つのこと。
検証の途中で、データ取得プログラムに不具合が見つかりました。株価の過去データは膨大なので、一度には取れず、少しずつ分けて取得します。その「取得する方向」の設定を誤っていた——本のページをめくる向きを逆にしていたような、それだけの小さなミスです。
怖いのはここからです。この状態でも、プログラムはエラーを出さずに動き続けます。数字も出ます。グラフも描けます。壊れていることに、見た目からは気づけないのです。不整合を見つけたのは、取得できているはずのデータの期間と件数を、元のデータと突き合わせたときでした。バグを修正して同じ検証を再計算すると、結果は悪化しました。つまり最初の+85%という美しい数字には、バグによる水増しが含まれていた。もし良い数字に満足して答え合わせを省略していたら、私は歪んだ結果を信じたまま、次の判断へ進んでいたはずです。
ここから得た教訓を、この講座で何度でも言います。「良すぎる結果を見たら、喜ぶ前にバグを疑う」。これはプログラムに限りません。AIが出した分析、資料の数字、要約の結論——期待通りすぎる出力ほど、検証の優先度を上げてください。人は、見たい結果を見せられたとき、最も無防備になります。
モデルの予測精度を厳密に測ると（AUCという指標で約0.535——完全なランダムが0.5です）、公開されている価格・出来高データとテクニカル指標だけでは、これ以上ほぼ上がらない壁があることが分かりました。考えてみれば当然で、誰でも見られるデータから、誰も知らない優位性は生まれないのです。
さらに、伝統的な分析手法として有名なローソク足パターン（酒田五法）に予測力があるかを統計的に検定したところ、結果は「統計的に意味のある差は確認できない」（p値0.87）。長く信じられてきた手法でも、データで検証すると通用しないことがある——これも検証だけが教えてくれる事実です。
もう一つのプロジェクトで、暗号資産の価格と各種の経済指標（為替、株価指数、金など）の関係を総当たりで分析しました。すると「同じ日に連動して動く」関係は、確かに複数見つかりました。ここで検証をやめれば、「この指標を見ればビットコインが読める」という魅力的な物語が作れます。
しかし、統計の世界には「たくさん比較すれば、偶然の当たりが必ず混ざる」という罠があり、それを補正する手続き（多重比較補正）があります。補正と頑健性の確認を通した結果——事前に予測に使える関係は、一つも残りませんでした。
「相関があります」とAIが言うとき、それは「予測できます」という意味ではありません。この区別は、投資に限らず、仕事のデータ分析すべてに効きます。売上と気温に相関があっても、気温で来月の売上が当てられるとは限らない——同じ構造です。
%% title: 検証の3つの問い
flowchart LR
S(["魅力的な結果が出た"]) --> Q1{"Q1 バグ・データ誤りは<br/>ないか"}
Q1 -->|"引っかかった"| NG(["「使えない」判定"])
Q1 -->|"通過"| Q2{"Q2 測り方は<br/>誠実か"}
Q2 -->|"引っかかった"| NG
Q2 -->|"通過"| Q3{"Q3 相関を予測と<br/>混同していないか"}
Q3 -->|"引っかかった"| NG
Q3 -->|"通過"| OK(["初めて「使える」判定"])
style S fill:#ffffff,stroke:#E8B04B,stroke-width:3px,color:#0A1124この節で分かること：私の検証プロセスを、プログラミング不要の「5つの問い」に一般化します。明日から使えます。
株価予測の話は特殊に聞こえたかもしれませんが、やったことの本質は5つの問いに集約できます。AIの出力を受け取るたび、全部でなくていい、重要な場面でこの問いを立てる——それが検証眼です。
問い1：「出典はどこ？」 事実・数字・法律・制度に関わる出力には、出典を要求してください。「この情報の出典を教えてください」の一文でいい。AIが具体的な出典を示せない、または示された出典が実在しない場合、その情報の確度は大きく下がります。
問い2：「一次情報と一致する？」 重要な数字や制度は、必ず一次情報（官公庁サイト、企業の公式発表、原典）と照合します。AIの回答は「調べる場所を教えてくれる案内板」として使い、最終確認は原典で。これはウェブ検索を使えば数分で終わります（実演はこの後のJ動画で）。
問い3：「逆を聞いても同じ答え？」 新しいチャットを開いて、同じ質問を別の角度から聞いてみてください。「Aは正しい？」と「Aが間違っているという説はある？」の両方を聞く。答えが揺れるなら、その領域はAIにとって不確かだというサインです。
問い4：「良すぎないか？」 期待通りすぎる出力、都合の良すぎる分析結果が出たら、喜ぶ前に前提を疑う。「この結論に不利な事実や反論を挙げてください」とAI自身に攻撃させるのも有効です。
問い5：「これを信じて行動した場合、失うものは何か？」 検証の深さは、間違ったときの損害に比例させます。ランチの店選びなら検証不要。仕事の提案書の数字なら問い1〜2。お金や契約に関わるなら問い1〜4すべて。検証コストの配分もまた、司令塔の判断です。
この5つの問いは、配布物「検証チェックリスト」として1枚にまとめてあります。印刷するか、スマホに保存して使ってください。
この節で分かること：検証の最終形は「やめる判断」。第0章の3原則がここで完結します。
検証の結果、私はどうしたか。
株価予測プロジェクトの一部は凍結し、暗号資産の自動売買プロジェクトは、事実上撤退しました。TypeScriptで約2,000行、テストコード51本まで書いたシステムです。かけた時間を思えば、「もう少し続ければ…」という声は、自分の中に確かにありました。
しかし、データは「優位性はない」と言っている。ここで続ける理由は、事実ではなく、払ってしまったコストへの未練だけです。行動経済学でいうサンクコスト——すでに支払った費用は、これからの判断材料にしてはいけない、という原則に反します。私はそのリソースを、勝ち筋の見えない場所から引き上げ、確実に価値を生み出せる仕事へ振り直しました。
なぜこの話で章を締めるのか。撤退の判断は、AIには絶対に委託できないからです。
AIは分析してくれます。データも出してくれます。しかし「このプロジェクトをやめる」「この方向は諦める」という決断の重さを引き受けることは、できません。うまくいかなかったとき、「AIがそう言ったから」と言いたくなる瞬間が、いつか必ず来ます。そのときに思い出してください。第0章で決めたはずです——結果への責任は、手放さない。
検証眼とは、AIを疑う技術であると同時に、自分の願望を疑う技術でもあります。+85%という数字に飛びつきたかったのは、AIではなく私でした。都合の良い出力を信じたがるのは、いつも人間の側です。
次の第5章から、あなたはいよいよ「作る」側に回ります。作ったものは、うまく動かないことも、期待と違うこともあります。そのとき、この章の5つの問いと、撤退する勇気が、あなたを守ります。
「疑えるから、委ねられる。」 それが検証眼を持つ司令塔です。
🎬 実演13「ファクトチェック実技」
目的: 5つの問いを、自分の仕事領域で1回まわし切る。
手順（所要20〜30分）
気づきの問い: もし食い違いが見つかった人は、それを検証せずに仕事で使っていたら何が起きていましたか。一致した人は、「一致を確認できたこと」自体があなたの確信をどう変えましたか。
回答メモ
月額サポートにご加入の方は、講師に見てほしいワークを公式LINEへ送れます
AIの出力を受け取ったら — 5つの問い
| # | 問い | やること |
|---|---|---|
| 1 | 出典はどこ？ | 「出典を教えてください」— 示せなければ確度を下げる |
| 2 | 一次情報と一致する？ | 官公庁・公式発表・原典と照合（検索3分） |
| 3 | 逆から聞いても同じ？ | 新規チャットで逆方向から再質問 |
| 4 | 良すぎないか？ | 期待通りすぎる結果はまず疑う。「反論を挙げて」とAIに攻撃させる |
| 5 | 信じて失うものは？ | 損害の大きさに検証の深さを比例させる |
合言葉: 良すぎる結果はバグを疑う ／ 相関は予測ではない ／ 責任は委託できない
5問・合格基準4問正解・再受験可。合格すると進捗に記録されます。