Jevとは？海外・大学の検証から読む精度・料金・LLMとの違い

Jevは、選択・採点・真偽判定を構造化して返すTypeSafe AIのモデルです。第三者評価では低費用・低遅延が報告される一方、精度は課題によって大きく変わります。形式が正しいことと、判断が正しいことを分け、自社業務の失敗コストまで含めて評価する必要があります。

AIが文章を上手に書けても、業務がそのまま自動化されるわけではありません。問い合わせを担当部署へ送る、文書を分類する、生成された回答を確認する。その一つひとつには、会社ごとの判断基準があります。Jevは、この細かな判断をソフトウェアに組み込むための新しい選択肢です。

本稿は2026年9月25日までに確認できた一次資料を対象にした調査です。開発元の説明、大学研究者のプレプリント、海外企業の評価、個人開発者の公開検証を区別します。ActionaryによるAPI再実験ではありません。

業務活用を先に知りたい方は、後編「Jevで広がる業務自動化」をご覧ください。

Jevとは何か。文章生成から、選択・採点・真偽判定へ

JevはTypeSafe AIが2026年9月15日に発表したSystem Oneモデルです。渡した情報に対して、あらかじめ定義した形式で判断を返します。長い回答を読んで解釈する代わりに、アプリケーションが処理に利用できる値を受け取る設計です。

仕様の一次資料：TypeSafeのIntroduction。文章の作成、計算、業務システムへの書き込みは、それぞれ別の処理として設計します。

何が新しいのか。モデルの役割を業務単位で分けられる

分類器やルールによる自動化自体は以前からあります。Jevの特徴は、自然言語で指定した判断を、型と確率を持つ応答として取り出せることです。開発元は確率の校正を重視する学習方式RLCDを掲げています。ただし、内部実装の独立検証と、公開APIの挙動を評価することは別です。

実務では、文章を書く生成AI、選択する判定モデル、金額や日付を計算するコード、例外を扱う人を組み合わせます。例えば「請求額が上限を超えたか」は計算し、「問い合わせが請求内容への異議か」は意味を判定する。仕事を分解するほど、どこに推論費用をかけるべきかが見えます。

メーカーの高速・低価格の訴求は、何を測った数字か

TypeSafeの発表にある193.6倍の高速化、444.6倍の低価格化は、同社のワークフロー評価に由来します。参照には強力なモデル群の出力を用いており、人が確定した業務上の正解と同一ではありません。同社自身も、実用上の改善幅としては大きい側の数値であると説明しています。

メーカーの発表は性能仮説を知る入口です。自社業務でも同じ倍率になるという見積根拠にはできません。評価条件は公式発表の注記で確認できます。

外部検証の数値を比較する：大学研究・企業評価・個人検証

次の結果は、同一問題を全機関が解いたランキングではありません。対象データ、正解の決め方、モデル設定、費用の単位が異なります。数値は各著者の報告値です。大学所属の著者による論文も、大学による製品認定を意味しません。

海外企業Entagl：作成した問題と、実際の会話を分けて読む

1,357判定は283ケースの一部を反復した結果です。別枠の実履歴402判定では、ある環境の担当選択が既存構成97.8%に対してJev83.7%でした。Jevへの入力には担当者の状態が欠けていたと説明されています。実履歴は希少例を多めに抽出し、不明例を除外、評価者は1名。比較Geminiの正確な版も明示されていません。

この結果は、入力する業務状態まで含めて比較する必要性を示します。出典：Entaglの検証報告。

Carnegie Mellon大学所属研究者：安い一次判定には用途の境界がある

9月22日のプレプリントは、共通120件の料金測定パネルで1,000件換算0.044ドル、比較GPT-6は12.182ドルと報告しています。この費用比は約0.36%ですが、全タスクの精度が同等という意味ではありません。根拠を与えない文章判定80件では正解率52.5%。安価な判定を採用する範囲を、用途別に決める必要があります。

出典：JEV-as-a-Judge。調査時点では査読済みと確認していません。

東京大学・MBZUAIなどの研究者：速さと契約理解の正確さは別軸

9月23日のプレプリントは123契約書を評価しています。Jevの費用は1契約書0.000228ドルでした。77.38%という正解率には95%区間75.99～78.81%が付され、条件変更時の安定性も検討されています。繰り返し同じ答えを返しても、その答えが誤りなら正確ではありません。英語契約の分類結果を、日本語の契約審査全体へ拡張することもできません。

出典：Same Scores, Different Decisions。費用・時間は各設定と実行基盤を含む比較です。

個人による再現可能な検証も、補助的な材料になる

themsquaredの60件評価には明確な例34件、曖昧な例14件、敵対的な例12件が含まれます。大学・企業の評価と同格の大規模実証ではありませんが、失敗例と生出力を追える点は有用です。小標本の正解率だけで採否を決めず、自社で似た誤りが起こるかを確かめる材料にします。

出典：jev-benchmarkの公開コードと結果。

「ハルシネーションゼロ」とconfidenceを、どう理解するか

選択肢を「営業・サポート・保留」に固定すれば、形式外の部署名を生成しないようにできます。しかし、サポートへ送るべき問い合わせを営業と判定する誤りは残ります。形式の保証、意味の正確さ、業務として安全に実行できることは、別々に確認する項目です。

ChoiceとScoreのconfidenceは、返された確率分布の集中度をまとめた統計量です。「0.9なら当社業務で90%正しい」と直接読み替えることはできません。Noulには同じconfidence項目がありません。しきい値は正解付きデータで調整し、未使用の検証データで評価します。

出典：confidenceの公式定義。数値が高くても、必要な根拠が欠ける処理や権限外の実行を許可する理由にはなりません。

Jevの料金と、日本語で利用するときの注意点

2026年9月25日確認のJev 1.13.0は、入力100万トークンあたり0.042ドル、出力無料です。仮に1件の入力全体が1万トークンで月10万件なら、入力料金は42ドルになります。これは計算例であり、文字起こし・生成AI・保存・再試行・人の確認・開発保守費は含みません。

現行仕様の入力はテキストのみです。また公式文書は、英語が最も得意で、日本語を含む他言語が同等とはしていません。日本語の敬語、婉曲な断り、話者の入れ替わり、文字起こしの誤りを含むデータで確認する必要があります。

料金と仕様の出典：TypeSafe Models。

数値計算や日付比較はコードで扱い、無関係な長文は事前に絞り込みます。入力に混じる指示で判定が誘導される可能性もあるため、Jevだけを権限管理や攻撃防止の最終防壁にはしません。

対応範囲の出典：Jev 1.13の既知の弱点。

導入判断では、正解率より先に「間違いの費用」を決める

問い合わせ100件のうち何件正しかったかだけでは、事業への影響を判断できません。分類を一度直すだけの誤りと、重要な顧客の相談を見落とす誤りでは、損失が違うからです。Actionaryは、次の順で評価することを提案します。

よくある質問

Jevは生成AIをすべて置き換えますか？

置き換える対象は限定されます。選択や評価に向く処理を担当させ、文章・コードの生成、複雑な推論、厳密な計算は適切な別手段と組み合わせます。

海外の高い正解率は、日本語業務でも期待できますか？

そのまま移せません。言語、入力情報、判定基準、失敗の種類が違います。海外の検証は候補を選ぶ材料として使い、日本語の実業務で評価します。

導入すれば同じ倍率でコストが下がりますか？

下がるとは限りません。判定APIが安くても、確認や手戻りが増えれば総費用は上がります。比較対象の設定と、業務全体の費用を揃えることが必要です。

Actionaryの見解：判断を分解すると、自動化できる範囲が見えてくる

今回の調査から有望だと考えるのは、Jevにすべてを任せる構成ではなく、十分な根拠のある限定的な判断を数多く処理する構成です。安く速い判断が使えるほど、入力する情報、会社のルール、例外の引き継ぎ方が成果を左右します。この設計にこそ、企業ごとの改善余地があります。

後編では、DEKISUGIKUN・AX Consulting・AI Developmentをつなぐ活用構想を具体的に説明します。

調査方法と更新方針

公式ドキュメントと発表、arXiv本文、評価主体の原報告、公開リポジトリを照合しました。検索結果やSNS上の紹介文だけを数値の根拠にしていません。一次資料の報告を整理した調査であり、API測定の追試は行っていません。研究結果は新しい版や追試で変わり得るため、重要な変更が確認された場合は本ページの更新履歴に残します。