ドキュメント解析 / ドキュメントタイプ
解析項目の作成
新たな解析項目を追加したい場合は、解析項目一覧の下部にある次の2つのボタンから作成方法を選べます。
+新規作成
解析項目を1つずつ作成します。本章で説明します。
+表(CSV)形式で作成
表(CSV)形式で複数の解析項目をまとめて作成します。詳しくは次章の表形式で作成で説明します。
本章では、+新規作成ボタンによる解析項目の作成について説明します。
解析項目の登録link
- 1解析項目名(必須)登録する解析項目名を入力します。
- 2プロンプト(命令文)(必須)解析項目に対するプロンプトを入力します。
- 3AIアシスタント機能AIアシスタント画面の開閉をします。
- 4固定値として登録
「固定値として登録」にチェックすると、解析項目の解析結果を固定値にできます。
ドキュメント解析時は固定値に入力された値が常に解析結果として出力されます。また、固定値を入力せず空白のまま登録した場合は解析結果も常に空白で出力されます。
「解析するドキュメント自体には項目がないが、ドキュメント検証時に手入力したい」「書類作成時に任意の固定値を出力する必要がある」などのケースで利用できます。
なお、固定値として登録された解析項目は解析項目名の直前にTの文字が自動的に表示されます。
- 5解析対象解析項目の解析対象を選択できます。
- 6解析方針ドキュメント解析の解析方針を選択できます。
- 7解析方式ドキュメント解析の解析の方式を選択できます。
- 8モデルドキュメント解析に使用するAIモデルを選択できます。
- 9モデルのカスタマイズ細かいモデルの選択ができます。
詳細設定link
詳細設定をクリックすると、より細かい解析項目の設定ができます。
主要な設定項目link
解析対象link
解析項目の解析対象が指定できます。
ドキュメント(デフォルト)
解析項目はアップロードされたファイルを参照します。
ドキュメントと解析結果
解析項目はアップロードされたファイルとすでに解析された別の解析項目の解析結果を参照します。
解析結果
解析項目はすでに解析された別の解析項目の解析結果を参照します。
解析対象に「解析結果」が含まれている場合は、具体的な解析項目を解析対象として選択できます。
解析対象とする解析項目は複数選択することができます。また、全ての解析項目の解析結果を参照したい場合は「すべて」を選択します。
*解析対象が「解析結果」に設定されている場合はアップロードされているドキュメントは参照されません。
*他の解析項目の解析対象によっては選択候補に解析項目が表示されない場合があります。
解析方式link
ドキュメント解析の解析の方式が選択できます。
ファイル解析(マルチモーダル解析)
アップロードされたファイルをそのままAI解析します。
画像解析
アップロードされたファイルを画像としてAI解析します。アンケートや、画像、イラストなどの非テキスト情報の取得に最適な解析方式です。
テキスト解析
アップロードされたファイルを、まずは全文抽出し、その抽出結果をAI解析します。
解析方式の選び方
ファイル解析と画像解析、テキスト解析ではドキュメント内の全文抽出の方法が異なります。
ファイル解析では、AIが全文抽出もプロンプト実行もまとめておこないますが、テキスト解析では、全文抽出は別のOCRサービスがおこない、AIはその抽出結果を利用してプロンプト実行のみをおこないます。かつて、カルクペーパーではテキスト解析が主流の解析方法でしたが、現在ではAIのOCR精度の向上もあってファイル解析が解析方法の主流となっています。ただし、単純な文字の読み取り精度ではテキスト解析に軍配が上がることもあるため契約書や長文テキストなど文字量の多いドキュメントの解析ではテキスト解析を使うケースもあります。
また画像解析は、アップロードされたファイルを画像としてAI解析をおこなうことで、特にテキストではない情報の読み取りを得意とします。例えば、アンケートのように回答が手書きの丸(◯)で囲われていたりする情報の読み取りではファイル解析やテキスト解析では適切に取得できない場合はあるため、画像解析を使用することを強くお勧めします。
モデルlink
解析項目の用途にあわせて、ドキュメント解析に使用する生成AIモデルが変更できます。
標準(デフォルト)
様々な用途で利用できる標準的なモデルです。単純な項目取得や簡単な計算などを得意とします。
高度
推論が得意な高度なモデルです。複雑なデータの取得や文章の要約などが得意とします。
試験提供
試験提供中の最新モデルです。正式リリースを前に試験的に提供しているモデルであるため、解析速度等が不安定です。
モデルのカスタマイズlink
モデルをさらにカスタマイズし、様々なAIモデルを選択することができます。
基本モデル
精度、コストともにバランスの良いモデルです。
思考重視モデル
相対的に思考力が高いモデルです。高度な思考や推論が必要なタスクに最適です。
コスト重視モデル
相対的にコストが安いモデルです。安価にドキュメント解析をしたい場合に利用します。
カルクペーパーで使用できるモデルの詳細は、提供モデル一覧をご確認ください。
Web検索link
Web検索オプションを有効にすることで、ドキュメント解析においてWeb検索を使用することをモデルに許可します。
通常のドキュメント解析では、モデルは与えられたドキュメントのみを参照し、ドキュメント解析を実行しますが、Web検索オプションを有効にすることで、モデルは与えられたドキュメントに加えて、Web検索で引用した検索結果をドキュメント解析の解析結果に利用するようになります。
*モデルによってはWeb検索を使えないモデルもあります。その場合はWeb検索のオプションは表示されません。
Web検索を使用しない場合
ドキュメント解析に利用する情報ソース
- check_circleアップロードされたファイル(ドキュメント)
- check_circle解析結果や外部ファイル
Web検索を利用した場合
ドキュメント解析に利用する情報ソース
- check_circleアップロードされたファイル(ドキュメント)
- check_circle解析結果や外部ファイル
- add_circleWeb検索結果
Web検索の情報ソース
Web検索オプションを有効にした解析項目では、解析結果に新たにWeb検索の情報ソースが表示されます。
解析結果の下部に出現するWeb検索の情報ソースをクリックすると、モデルが実行したWeb検索で使用したWeb検索クエリ(検索キーワード)と情報ソース(Webページ)が表示されます。
- 1検索クエリ検索クエリをクリックすると、自動的にGoogleの検索ページに遷移します。
- 2情報ソース(URL)情報ソースのURLをクリックすると、該当のWebページに遷移します。
- 3プレビューを表示プレビューを表示をクリックすると、該当のWebページのプレビューを表示します。
Web検索利用の注意点
カルクペーパーでは、原則としてドキュメント解析においてアップロードされたファイル以外(*)を解析の情報ソースとして利用することはありません。
この原則により、ドキュメント解析による解析結果において想定(期待)しない解析結果が出現する可能性を大きく低減させていますが、Web検索を許可することで新たにWeb検索による検索結果をドキュメント解析に利用するようになるため想定(期待)しない解析結果が出力される可能性が高まります。ただし、ドキュメントに記載されていない情報をルーティンワークとして取得したい場合などはWeb検索の利用を検討してください。
*外部ファイル参照機能を利用した場合を除く
Web検索を使用しない場合
- ドキュメント解析はアップロードされたファイルのみを参照
- 出力される解析結果の想定が容易
- ドキュメントに記載された情報以外は取得できない
Web検索を利用した場合
- ドキュメント解析にWeb検索結果を利用
- 出力される解析結果に想定外の結果が出現する可能性がある
- ドキュメントに記載された以外の情報を取得できる
前処理と後処理link
前処理と後処理は、AI解析の前後でテキストを自動的に加工する機能です。詳細設定から、解析項目ごとに設定できます。
前処理(プリプロセス)
ファイルから読み取ったテキストを、AIに渡す前に加工します。不要な文字列の削除や表記ゆれの正規化により、解析精度を高めます。
後処理(ポストプロセス)
AIが返した応答を受け取った後に整形します。日付・数値・住所などを、決まった形式のデータへ変換・抽出します。
処理の流れ
*前処理の対象は、アップロードしたファイルそのものではなく、そこから読み取られたテキストです。前処理はテキストの読み取り(全文抽出)の後に実行されます。
前処理
読み取ったテキストをAIに渡す前に加工します。処理タイプは次の3つです。
| 処理タイプ | 内容 | 主な用途 |
|---|---|---|
| 何もしない | テキストをそのまま使用します | 前処理が不要な場合 |
| 文字列削除 | 指定した文字列を削除します | ヘッダー・フッターや「社外秘」などの定型文の除去 |
| 文字列置換 | 指定したパターンに一致する文字列を置換します | 全角→半角の統一、表記ゆれ・OCR誤認識の補正、余分な空白の除去 |
設定項目
- 処理タイプ:何もしない/文字列削除/文字列置換 から選択します。
- 条件:削除する文字列、または置換パターンを指定します。
文字列削除の指定
- 単一の文字列を指定します(例:
社外秘)。 - 複数の文字列をまとめて削除する場合は、配列形式で指定します(例:
["社外秘", "CONFIDENTIAL", "機密文書"])。
(例)条件に 社外秘 を指定した場合
入力(読み取ったテキスト)
社外秘 株式会社サンプル 2024年10月14日 契約書
出力(AIに渡されるテキスト)
株式会社サンプル 2024年10月14日 契約書
文字列置換の指定
s/置換前/置換後/の形式で指定します。置換前のパターンには正規表現が使用できます。
(例)全角数字を半角に統一する:条件 s/[0-9]/[0-9]/
入力「金額:123,456円」→ 出力「金額:123,456円」
(例)OCRの誤認識を補正する:条件 s/株 式会社/株式会社/
後処理
AIの応答を、用途に応じたデータ形式へ変換・抽出します。処理タイプは目的別に次のとおりです。
基本
| 処理タイプ | 内容 |
|---|---|
| 処理なし | 応答テキストをそのまま使用します |
データ型変換
| 処理タイプ | 内容 | 入力例 | 出力例 |
|---|---|---|---|
| 真偽値 | 肯定/否定を判定して true / false に変換します | 「はい、実施します」 | true |
| 数値 | 数値を抽出します(カンマや単位を除去) | 「金額は1,234円です」 | 1234 |
| 整数 | 整数部分のみを抽出します | 「合計:123.45」 | 123 |
| 小数 | 小数を抽出します | 「3.14%」 | 3.14 |
| 配列 | 箇条書きや区切り文字から配列を生成します | 「- りんご(改行)- みかん」 | ['りんご', 'みかん'] |
*真偽値の判定基準
true になる語:はい、YES、有、あり、OK、可、TRUE、実施、完了 など
false になる語:いいえ、NO、無、なし、NG、不可、FALSE、未実施、不要 など
日時
| 処理タイプ | 内容 | 入力例 | 出力例 |
|---|---|---|---|
| 日付 | 日付を抽出し YYYY-MM-DD に正規化します(西暦・和暦に対応) | 「令和6年10月14日」 | 2024-10-14 |
| 日時 | 日付と時刻を抽出します | 「2024/10/14 15:30」 | 2024-10-14 15:30:00 |
*対応する日付形式:西暦(2024/10/14、2024-10-14、2024年10月14日)/和暦(令和6年10月14日、平成30年1月1日)
情報抽出
| 処理タイプ | 内容 | 入力例 | 出力例 |
|---|---|---|---|
| 住所 | 住所を抽出します | 「住所は東京都渋谷区…」 | 東京都渋谷区… |
| 郵便番号 | 郵便番号を抽出します | 「〒100-0001」 | 100-0001 |
| 会社名 | 会社名を抽出します | 「株式会社サンプル」 | 株式会社サンプル |
| 人名 | 人名を抽出します | 「担当者:山田太郎様」 | 山田太郎 |
| メールアドレス | メールアドレスを抽出します | 「info@example.com」 | info@example.com |
| 電話番号 | 電話番号を抽出します | 「03-1234-5678」 | 03-1234-5678 |
| 金額 | 通貨金額を抽出します | 「¥1,234,567」 | 1234567.0 |
| パーセント | 割合(0〜100)を抽出します | 「15.5%」 | 15.5 |
テキスト整形
| 処理タイプ | 内容 | 入力例 | 出力例 |
|---|---|---|---|
| 句読点削除 | 句読点や余分な表現を削除します | 「金額は、1,234円です。」 | 金額は1234円 |
| 小文字変換 | すべて小文字に変換します | 「HELLO World」 | hello world |
| 大文字変換 | すべて大文字に変換します | 「hello world」 | HELLO WORLD |
| 先頭大文字 | 文の先頭のみ大文字にします | 「hello world」 | Hello world |
正規表現処理(高度)
標準の処理タイプでは対応できない削除・抽出をおこないたい場合に使用します。
| 処理タイプ | 内容 |
|---|---|
| 正規表現除去 | 指定したパターンに一致する箇所を削除します |
| 正規表現抽出 | 指定したパターンに一致する箇所を抽出します |
設定項目
- 処理タイプ:上記の処理タイプから選択します。
- 正規表現:正規表現除去/正規表現抽出を選択した場合に、対象のパターンを指定します。
設定例
- 処理タイプ「金額」:AIの応答「合計金額は¥1,234,567円となります。」→
1234567.0 - 処理タイプ「日付」:AIの応答「契約日は2024年10月14日です。」→
2024-10-14 - 処理タイプ「配列」:箇条書きの応答(りんご/みかん/バナナ)→
['りんご', 'みかん', 'バナナ']
Tips:よくある設定パターン
- 契約書の契約日(後処理:日付):和暦・西暦が混在していても
YYYY-MM-DDに統一され、テンプレート出力時に日付として扱えます。 - 請求書の金額(後処理:金額/数値):通貨記号やカンマを除去し、計算に使える数値として保存します。
- 定型ヘッダーの除去(前処理:文字列削除):
["社外秘", "CONFIDENTIAL"]のように指定し、本文以外のノイズを除去して解析精度を上げます。 - OCR誤認識の補正(前処理:文字列置換):
s/株 式会社/株式会社/のように、AIに渡す前に誤認識を補正します。 - チェック項目の管理(後処理:真偽値):「実施します」→
true、「実施しない」→falseとして、条件分岐やフィルタリングに利用できます。
外部ファイル参照link
ドキュメント解析時において参照する外部ファイルを選択できます。
詳しくは外部ファイルの利用のマニュアルをご確認ください。
サポート機能link
ドキュメントのプレビューlink
解析項目の編集画面では、ドキュメントのプレビューが表示され、解析のテストができます。
- 1ドキュメント選択すでにドキュメントタイプにアップロードされているドキュメントが選択できます。選択されたドキュメントはプレビュー表示されます。
- 2プレビュー
- 3再解析現在登録されている解析項目の設定を利用して、解析を実行します。
- 4クレジット消費量直近の解析にかかったクレジット消費量が表示されます。
- 5CSV表示解析結果を表形式で表示します。
- 6履歴解析結果の履歴が確認できます。
- 7コピー解析結果をコピーします。
- 8解析結果
ドキュメントを選択すると、現在登録されている解析項目の設定を利用して、解析を実行できます。
AIアシスタント機能link
AIアシスタント機能とは、プロンプト作成をAIがアシストする機能です。
AIアシスタント機能をクリックすると、AIアシスタント画面が表示されます。
- 1モード選択
AIアシスタントにおけるモードの選択ができます。選択されたモードによってAIがそのモードに応じた最適な提案します。
- プロンプト提案モード:入力されたプロンプトに基づいて、AIが新たなプロンプトを提案することに最適化されたモードです。
- プロンプト診断モード:入力されたプロンプトに基づいて、AIが解析項目に設定されたプロンプトを対する診断や改善をすることに最適化されたモードです。
- フリーモード:さまざまな用途に利用できるモードです。
- 2ショートカット目的に応じてあらかじめ設定されたモード選択やプロンプトを利用することができます。
- 3プロンプトAIアシスタントへリクエストするプロンプトを入力します。
- 4コンテキスト設定
AIアシスタントへリクエストする詳細設定を変更できます。
- プレビュードキュメントを含める:AIアシスタントへのリクエストに現在表示されているプレビュードキュメントを含めます。
- 現在のプロンプトを含める:AIアシスタントへのリクエストに解析項目に設定されているプロンプトを含めます。
- 現在の解析結果を含める:AIアシスタントへのリクエストにすでに出力されている解析結果を含めます。
- プロンプトを生成する:AIアシスタントからの回答に、新しいプロンプトを出力することを要求します。プロンプトを生成しない場合は、AIは必ずしも新しいプロンプトを提案しません。
- 5チャットリセットチャットをリセットします。
AIに対してリクエストを送信すると、リクエストに応じた回答が返ってきます。
- 1AIアシスタントの回答
- 2生成されたプロンプトAIによって新たに提案されたプロンプトです。生成されたプロンプトはコンテキスト設定において「プロンプトを生成する」がONの場合のみ表示されます。
- 3プロンプトを適用
AIによって新たに提案されたプロンプトを、現在の解析項目のプロンプトに直接、コピーします。
*AIによって提案されたプロンプトは自動的には適用されません。
- 4プロンプトをコピーAIによって新たに提案されたプロンプトをコピーします。
- 5AIによるポイント解説
*フリーモードでは、「生成されたプロンプト」「AIによるポイント解説」が表示されない場合もあります。