tac-tac-go
← Clips
dev.classmethod.jp 2026年5月28日

Claude Code の skill を skill-creator で評価したら捏造率が 51% → 0% になった

元記事を読む ↗

【元記事】(https://dev.classmethod.jp/articles/claude-skill-must-vs-reason/)

3行まとめ

  • Anthropic公式の「MUSTより理由を書け」をskill-creatorで実証検証した
  • 指示の書き方だけ変えた2つのskillを比較した結果、捏造率が51%→0%に改善
  • 宣言的な「〜しろ」ではなく、理由を含めた指示がAIの正確な動作に不可欠

要約

背景・課題

  • 自前のClaude Code Skillsがautoモードで指示通り動かない問題に遭遇
  • Anthropic公式が提唱する「MUSTより理由を書け」の効果を定量的に検証したい

アプローチ

  • skill-creatorを用いて、同一タスクに対し「MUST形式」と「理由形式」の2種のskillを作成
  • 両者の捏造率(指示と異なる動作をする確率)を比較

成果・ポイント

  • 理由を含めた指示文で捏造率が51%から0%に減少
  • 宣言的な強制表現より、背景や意図を伝えることでAIが正しく動作する