問い合わせフォームの営業メールを Workers AI の Clef で仕分ける

コーポレートサイトの問い合わせを、Cloudflare Workers AI の分類モデル Clef で有効な相談、営業連絡、採用、迷惑送信の 4 つに自動で仕分けました。モデルに渡す項目の絞り方、担当者の操作を上書きしない反映の方法、基準文の書き方で確率がどう変わったかを、実測の値とあわせて紹介します。

検証情報

検証環境
Cloudflare Workers の本番環境と、cf CLI からの Workers AI の直接呼び出し
利用バージョン
@cf/cloudflare/clef、cf 1.0.0-beta.12
検証結果
架空の文面 11 件を新旧の基準文で判定し、新しい基準文で 11 件とも正しく分類した。本番では旧基準文で営業の文が 2 回とも迷惑送信と判定された
制約
文面は 11 件で、すべて架空。確率は 1 回ずつの測定で、ばらつきは確かめていない
目次

当社のサイトの問い合わせフォームには、相談のほかに営業の連絡も届きます。2026 年 11 月に一覧を整理したときは、残っていた問い合わせ 8 件のうち 7 件が営業の連絡でした。担当者は 1 件ずつ開いて読み、相談でないと分かった時点で閉じていました。この仕分けをモデルに任せるとき、どこまで任せてよく、誤ったときに何が起きるでしょうか。Cloudflare Workers AI の Clef を使って仕分けを組み込んだ経過を、実測の値とあわせて書きます。

全体の構成。相談者の送信を受付の Worker が D1 に保存して受付番号を返し、waitUntil で起動した判定処理が Clef の確率を D1 に反映する。失敗した判定は毎分の Cron が試し直す

Clef を選んだ理由

Clef は、Cloudflare が Workers AI で提供している分類向けのモデルです。こちらが用意した選択肢のそれぞれに確率を付けて返します。入力には判定の材料(state)と型付きの質問(questions)を渡し、質問の型に choice を選ぶと、応答には選ばれた選択肢(choice)、選択肢ごとの確率(probabilities)、確信度(confidence)が入ります。

料金は入力 100 万 token あたり 0.24 ドルで、出力は課金されません(2026 年 11 月に公式の説明で確認)。同じ説明では、Clef は送った内容を保存しない(Zero data retention)モデルとして扱われています。

文章を生成するモデルに「次の 4 つから 1 つを JSON で答えて」と頼む方法も考えました。その方法では、選択肢にない語や JSON として読めない応答への備えが要り、どれだけ迷ったかを数で残すにも別の工夫が要ります。Clef は応答の形が決まっていて、迷いの度合いを確率として保存できます。

モデルに渡す項目を絞る

問い合わせの本文は D1 に暗号化して保存しています。判定の処理は本文を復号し、判定に使う項目だけを取り出して Clef に渡します。渡すのは、相談の区分、相談内容、会社名、メールアドレスのドメイン部分、希望時期、予算感、受付の言語、遷移元のパスです。氏名、メールアドレスの @ より前の部分、電話番号は渡しません。

Clef に渡す項目と渡さない項目。復号した問い合わせから、判定に使う 8 項目だけを Clef に送り、氏名、メールアドレスの @ より前、電話番号は送らない
{
  "model": "clef",
  "state": {
    "service": "ai",
    "message": "現場データの集計を自動化したい",
    "company": "例示工業",
    "email_domain": "example.jp",
    "desired_timing": "within_3_months",
    "budget": "consult",
    "locale": "ja",
    "source_path": "/services/ai-consulting/"
  },
  "questions": {
    "classification": {
      "type": "choice",
      "instructions": "ソフトウェア開発会社のポノテク株式会社の問い合わせフォームに届いた連絡です。送り主の目的として最も当てはまるものはどれか",
      "criteria": {
        "valid": "送り主が自分の組織の課題について、ポノテクに開発、導入、支援を依頼したい、または相談したい",
        "sales": "送り主が自分の会社の商品、サービス、広告掲載、営業代行、人材紹介、開発の協力などをポノテクに売り込みたい。会社名を名乗り、面談や資料送付を求めることが多い",
        "recruit": "送り主がポノテクで働きたい、またはポノテクの求人に応募したい",
        "spam": "目的が読み取れない文字の羅列、当選や送金をうたう詐欺、SEO や被リンクの一斉送信など、ポノテクの事業と無関係な迷惑送信"
      }
    }
  }
}

Workers の binding からは env.AI.run("@cf/cloudflare/clef", input) で呼びます。応答の choice が 4 つの分類のどれか、4 つの確率がそれぞれ 0 から 1 の数か、を確かめてから使い、形が違えば失敗として扱います。

判定の反映は人の操作を優先する

判定は受付の応答を返したあとに waitUntil で進めます。その間に担当者が問い合わせを開き、分類や状態を手で変えることがあります。判定の結果で担当者の操作を上書きしないように、反映には条件付きの UPDATE を使います。

UPDATE lead_inquiries
SET classification = ?,
    state = CASE WHEN ? IN ('sales', 'spam') THEN 'not_required' ELSE state END,
    row_version = row_version + 1,
    updated_at = ?
WHERE id = ?
  AND classification = 'unclassified'
  AND state = 'new'
  AND row_version = ?;

書き換えるのは、分類が未分類で、状態が未対応で、行の版(row_version)が判定を始めたときと同じ場合だけです。担当者が先に変更していれば、この文は 1 行も更新しません。

判定の途中で担当者が分類を変えたときの順序。判定処理が版 3 の行を読んで Clef を呼んでいる間に担当者が分類を変えて版が 4 になり、版 3 を条件にした UPDATE は 0 行で終わる

判定の結果は別の表に保存し、反映したかどうかも記録します。反映、判定結果の保存、操作の記録、迷惑送信のときの自動返信の停止は、D1 の batch で 1 回に実行します。反映したかどうかは、それぞれの文の中で行の版と更新時刻がこの判定の値と一致するかで決めるので、途中で担当者が変更しても記録が食い違いません。管理画面の詳細では反映しなかった判定も「担当者が先に変更していたため反映していません」と表示します。

失敗したときと自動返信との待ち合わせ

binding の run には 20 秒の時間上限を Promise.race で付けました。binding が AbortSignal に対応しているという記述が見つからなかったため、中断の仕組みに頼らずに時間を切っています。

失敗した判定は保留のまま残し、毎分の Cron が 1 回に最大 10 件を拾って試し直します。1 件につき 3 回失敗したら判定できなかったものとして終え、分類は担当者に任せます。受付の応答と成否は、モデルの状態に左右されません。

担当者への通知は判定を待たずに送ります。相談者への自動返信だけは、判定が終わるまで最大 5 分待たせます。迷惑送信と判定した相手に自動返信を送らないためで、5 分を過ぎたら判定中でも送ります。

判定の状態の移り変わり。保留から始まり、判定できれば完了、3 回失敗すれば失敗、AI 判定が無効なら対象外で終わる。3 回未満の失敗は Cron が試し直す

基準文の書き方で確率が変わった

本番で試したところ、営業代行の売り込みの文が 2 回とも迷惑送信と判定されました。営業連絡の確率は 0.43 と 0.42、迷惑送信の確率は 0.54 と 0.56 でした。どちらでも状態は「対応不要」になりますが、分類の誤りは記録に残り、迷惑送信の扱いになった相手には自動返信も届きません。

そのときの質問文と基準文は次の形でした。

{
  "instructions": "この問い合わせの分類はどれか",
  "criteria": {
    "valid": "自社の課題や開発、導入について具体的な相談である",
    "sales": "商品、サービス、広告、協業などの営業連絡である",
    "recruit": "採用、応募、就職に関する連絡である",
    "spam": "無関係、詐欺的、または自動送信と判断できる迷惑送信である"
  }
}

架空の文面 11 件(有効な相談 3 件、営業 4 件、採用 1 件、迷惑送信 3 件)を用意し、cf ai run で Clef を直接呼んで比べました。旧基準でも 11 件とも正しく分類しましたが、営業の文の営業連絡の確率は 0.59 から 0.72 で、迷惑送信の確率は 0.12 から 0.40 でした。本番の誤判定は手元では再現できませんでした。ただ、営業と迷惑送信の確率の差がこの程度だと、文面が少し違うだけで入れ替わる可能性があります。

旧基準は、「自社の」が送り主の会社と受け手の会社のどちらを指すかが決まらず、「無関係」も何と無関係なのかを書いていませんでした。そこで、質問文に受け手の会社を書き、基準文はどれも「送り主が何をしたいか」で書く形にしました。営業の基準には営業の連絡によくある特徴(会社名を名乗る、面談や資料の送付を求める)を足しました。新しい基準文は前の節の JSON のとおりです。

文面正解旧基準新基準
見積もりの AI 化の相談有効な相談0.9720.975
受発注と在庫のシステム化の相談有効な相談0.9760.976
個人の農家からの小さな相談有効な相談0.9190.961
営業代行の売り込み営業連絡0.6600.907
比較サイトへの掲載の勧誘営業連絡0.5850.822
オフショア開発の協力の申し出営業連絡0.7190.920
人材紹介の売り込み営業連絡0.6500.948
求人への応募採用0.9720.946
英語の SEO 被リンクの勧誘迷惑送信0.9600.848
当選をうたう詐欺迷惑送信0.9820.893
意味のない文字列迷惑送信0.9620.870

表の数値は正解の分類に付いた確率です。新基準では、営業の文の営業連絡の確率が 0.82 から 0.95 に上がり、迷惑送信の確率は 0.01 から 0.12 に下がりました。一方で、迷惑送信の文の迷惑送信の確率は 0.96 から 0.98 だったものが 0.85 から 0.89 に下がり、下がった分の多くは営業連絡に移っています。営業連絡の基準を広げると、迷惑送信の側の確信度も動きます。

旧基準と新基準での正解の分類の確率。営業の文 4 件は確率が上がり、迷惑送信の文 3 件は確率が下がった

件数は 11 件で、測定も 1 回ずつなので、この表は傾向として読む値です。

入力は 1 件あたり 255 から 375 token だったものが、358 から 478 token に増えました。

費用と処理時間

1 件 500 token とすると、入力 100 万 token あたり 0.24 ドルで 1 件 0.00012 ドルです。1 ドル 150 円で換算すると 1 件 0.02 円ほどで、月に 100 件届いても 2 円に届きません。

本番で判定した 3 件では、判定の行を作ってから結果を保存するまでが 75 から 143 ミリ秒でした。この時間には、本文の復号と Clef の呼び出しが入っています。

残っている課題

判定の確率は自動で反映していて、確率が低いときに反映を見送る閾値は設けていません。迷惑送信の扱いで止まるのは相談者への自動返信だけで、担当者には通知が届き、分類と状態は一覧から直せます。誤判定の影響がこの範囲に収まるので、閾値を決めるのは件数がたまってからにしました。

確率がどこまで当てになるかも、まだ確かめていません。判定のたびに 4 つの確率を保存しているので、担当者が分類を直した件と突き合わせて確かめる予定です。

基準文を変えたときは、同じ 11 件で測り直し、設計書の値も直す運用にしています。設計書の JSON の例と実装の文言が一致することは、単体試験で確かめています。

出典

まだ、作るものが決まっていなくても。

「この作業を減らしたい」「こんなサービスを形にしたい」。その段階からお聞かせください。現状と目的を整理し、実現方法と進め方を一緒に考えます。

無料相談する