・0 pv・1 min read
【LLM】ハルシネーション検出ライブラリ登場！
概要
uqlmは、大規模言語モデル（LLM）の出力の不確実性を定量化するための一連の応答レベルスコアラーを提供します。各スコアラーは0から1の間の信頼度スコアを返し、スコアが高いほどエラーやハルシネーションの可能性が低いことを示します。
URL
各スコアラーについて（抜粋）
スコアラーは主に以下の4つのタイプに分類されます。
- Black-Box Scorers（ブラックボックス・スコアラー）: 同じプロンプトからの複数の応答の一貫性を測定します。
- White-Box Scorers（ホワイトボックス・スコアラー）: トークン確率へのアクセスを必要とします。
- LLM-as-a-Judge Scorers（LLMアズアジャッジ・スコアラー）: 任意のLLMを評価者として利用します。
- Ensemble Scorers（アンサンブル・スコアラー）: 様々なスコアラーを組み合わせ、上級ユーザー向けに調整可能です。
詳細な説明や使い方はURLからご確認ください。
終わりに
こんな分野があるんだなという感想。手が空いたタイミングで動かしたいと思います。