Promptfoo
AI 開発プラットフォーム · MLOps・評価監視 オープンソース完全無料 MIT ライセンス

Promptfoo

LLM アプリケーションの脆弱性診断、レッドチーム演習、プロンプト品質評価を行うオープンソース基盤

ユーザー高評価率 100%
42 件の評価

無料枠と利用ルール

CLI ツールとセキュリティ検証コアは完全無料のオープンソースでローカルおよび CI 環境で無制限に利用可能

機能の概要と特徴

Promptfoo はフォーチュン500企業にも広く採用されているオープンソースのLLMセキュリティテストおよび評価プラットフォームです。プロンプトインジェクション、脱獄、幻覚、情報漏洩などの脆弱性を自動検出し、CI/CDパイプラインと統合してモデルの品質劣化を未然に防止。複数のモデル間でのベンチマーク比較を直感的に実行できます。

インターフェース実機プレビュー

🔒 https://www.promptfoo.dev
Promptfoo interface screenshot

実機検証レビュー メリットとデメリット

主なメリット

  • ✓ 完全なオープンソースで GitHub Actions などの CI/CD パイプラインへ容易に組み込み可能
  • ✓ 脱獄やプロンプトインジェクションを網羅した豊富な自動レッドチームテストスイートを内蔵
  • ✓ モデルごとの出力結果やメトリクスを視覚的に比較できるWebダッシュボードを提供

注意点・制限事項

  • ✕ 大規模なテストマトリクスを実行する際はモデルプロバイダー側のAPI利用コストに配慮が必要
  • ✕ 高度に独自化された業務評価基準を定義するには簡単なスクリプト記述が必要

実際に試してみませんか?

下のボタンから公式サイトを開いてすぐにご利用いただけます。

開く Promptfoo ↗

関連する類似ツール

💬 ディスカッション

GitHub Powered