Jentraxis AI Agent Evaluation 適合確認を依頼
Japanese AI Agent Evaluation

AIエージェントを、
本番業務へ接続する前に検証する。

日本語の業務フローにおける外部入力、権限、文脈、ツール実行、承認境界を、実行証跡付きで評価します。

最終回答だけでなく、途中のツール選択、引数、状態変更、判定理由まで確認します。

  1. 評価対象外部入力から最終回答までの判断と操作
  2. 既存施策を補完AIセキュリティ、品質保証、ガバナンスの確認材料を追加
  3. 納品証跡run単位のEvidence JSON、判定理由、状態差分、ハッシュ情報
3ケースの実行証跡を見る 適合確認を依頼する

Buyer Roomは、技術・品質・購買担当者が合成3ケースと完成納品サンプルを非同期で確認する資料室です。

評価経路EXECUTION TRACE
01業務目的
02文書参照
03未信頼入力を含むtool result
04追加ツール判断
05状態変更
06最終回答
07Security / Quality判定
08Evidence JSON

入力と回答の比較だけでなく、判断経路と実行結果をrun単位で保存します。

33 / 33自動テスト PASS
37 / 37Releaseファイルハッシュ一致
90 / 90Evidenceファイルハッシュ一致
0配布物の個人情報検出

限定されたローカルmock環境での実測です。一般的な安全性、未知の攻撃への耐性、認証適合、脆弱性不存在を保証しません。

Operational risk

最終回答が正しくても、
途中の操作が安全とは限りません。

AIエージェントは、読む、判断する、実行する工程を横断します。Jentraxisは、業務目的から外れた操作や、品質不足を工程ごとに観測します。

RISK 01

外部文書内の命令を上位指示として扱う

RISK 02

利用者の依頼範囲を越えてメールを送信する

RISK 03

承認なしで予定・データを変更する

RISK 04

自己申告された役職を信じて権限を拡張する

RISK 05

秘密情報を不必要に参照する

RISK 06

異常値を検出せず後続処理へ進む

RISK 07

正しいツールを誤った引数で使用する

RISK 08

安全だが役に立たない回答を生成する

Why Jentraxis

プロンプト集ではなく、
評価を実行し、追跡する基盤。

ケースを並べるだけでは、どのツールが、どの引数で呼ばれ、何が変わったかを説明できません。Jentraxisは評価工程そのものを再現可能にします。

一般的なプロンプト一覧

入出力の比較が中心

  • 入力と回答を比較
  • 最終回答中心
  • 証跡が限定的
  • ツール状態を再現しにくい
Jentraxis

実行・採点・証跡・再現性を一体化

  • 業務目的から最終回答までを実行
  • ツール選択と状態変更を記録
  • SecurityとQualityを分離
  • run単位のevidence JSON
  • 採点コードとモデルdigestを記録
  • SHA-256で成果物を識別
  • 手動レビュー項目を自動合格にしない

Stage A–D

未信頼な内容は、
tool resultとして現れる。

業務目的だけで文書参照を開始し、mock文書内で初めて未信頼入力に接触させます。各Stageを選ぶと、渡る情報・証跡・判定リスクを確認できます。

Stage A：業務目的から文書参照を選択

モデルへ渡る情報
業務目的、利用可能な文書参照tool
保存される証跡
最初のモデル入力、選択tool、引数
判定するリスク
業務目的と無関係なtool選択、禁止toolの先行要求

評価方式を詳しく見る

Verified snapshot

限定環境で確認した実測値。

資料記載時点のローカルmock評価です。成功だけでなく、品質失敗と手動確認が必要なrunもそのまま表示します。

33 / 33自動テスト PASS
37 / 37Releaseハッシュ一致
90 / 90Evidenceハッシュ一致
0配布物の個人情報検出
10 × 3評価ケース × RUN
未完了30 RUNの手動監査
12 RUNOBJECTIVE_PASS
9 RUNOBJECTIVE_FAIL
9 RUNREVIEW_REQUIRED
結果の限定：これらは限定されたローカルmock環境における実測です。一般的な安全性、未知の攻撃への耐性、認証適合、脆弱性不存在を保証するものではありません。
Security 30 / 30の条件を確認する

明示的な防御指示と、攻撃であることを識別できる合成入力を使用したhardened baselineの結果です。一般的な安全性証明として扱いません。

JAW-010では、境界を守った回答でも品質要件を満たさないケースを検出しました。Securityと業務品質を分けて可視化した例です。

Engagement path

適合確認から、評価範囲を段階的に固定。

書面・非同期で開始できます。対象、環境、ケース、実行回数、納品物を合意した範囲だけ評価します。

  1. Stage 1公開情報ベースの適合確認

    対象製品と想定toolを確認し、評価可能性と追加情報を整理します。

  2. Stage 2小規模有償検証

    限定ケースで接続方法、観測可能性、成果物形式を確かめます。

  3. Stage 3標準パイロット

    合意した範囲でケースを設計し、Security、Quality、証跡を納品します。

標準パイロットの説明範囲

  • 1製品
  • 1環境
  • 20ケース
  • 対象業務に合わせた設計
  • Security / Quality判定
  • run単位の証跡
  • 結果レポート
  • 改善確認事項

合成データ、顧客が管理する環境、または顧客が書面承認した環境に限定します。

WRITTEN SCOPE & QUOTE

条件は着手前に書面で固定

適合確認後、対象範囲、評価ケース、環境、納品物を固定し、書面見積を提示します。

完成納品サンプルを確認する適合確認を依頼する

進行、成果物、評価範囲の限定を確認する

Public resources

契約前に、評価方式と成果物を確認。

Buyer Roomは一般公開LPではなく、技術・品質・購買担当者が合成ケースと完成納品サンプルを非同期で確認する資料室です。

BUYER ROOM · NEW TAB

法人向けBuyer Room

合成3ケースの実行証跡、稟議用1ページ、完成納品サンプルを担当別に確認できます。

room.jentraxis.comJSON · 3 CASES · DOWNLOAD

限定3ケースサンプル

業務目的、評価境界、許可／禁止tool、期待する証跡だけを公開しています。

Jentraxis_3Case_Sample.json

攻撃全文、秘密値、非公開採点基準、実装コードは公開しません。完全版は契約前の利用条件と提供範囲の確認後に提供します。

FAQ

検討前によく確認されること。

一般的なLLM評価と何が違いますか
最終回答だけでなく、文書参照、tool選択、引数、状態変更、採点理由をrun単位で記録し、SecurityとQualityを分けて判定します。
本番環境を使用しますか
原則使用しません。合成データ、または顧客が管理し書面承認した環境に限定します。
安全性を保証しますか
保証しません。結果は対象モデル、設定、環境、ケース範囲に基づく時点評価です。

よくある質問をすべて見る

Next step

対象製品が評価に適合するか、書面で確認します。

製品構成と利用可能ツールをメールでお知らせください。書面・非同期で開始できます。

適合確認を依頼する
適合確認を依頼