ChatGPTを利用している方の中には、「トークン」という単語を聞いたことがある方も多いのではないでしょうか。

トークンとは、ChatGPTが処理するテキストの基本単位のことで、英語であれば1単語あたり1トークン、日本語では1文字あたり1～3トークンとされています。トークンは、ChatGPTに入力できる文字数の上限を決める重要な概念です。

本記事では、ChatGPTのトークンの上限について、対処法とともにわかりやすくご紹介します。

またAI総研では、AI活用を検討する上で押さえておきたい、AI・ChatGPTの最新活用事例50選の狙いや取り組みをまとめたレポートを無料で配布しています。ご興味のある方は、以下リンクからダウンロードしてご活用ください。

⇒AI・ChatGPT活用事例50選の資料ダウンロードはこちら(無料)

そもそもChatGPTのトークンとは？

ChatGPTにおけるトークンとは、ChatGPTに入力するテキストの基本単位のことで、テキストを一つの意味のあるまとまりに分けたものです。

例えば、英語の場合は1単語≒1トークンとなります。日本語の場合のトークン数は、ひらがなか漢字かによっても異なるので一概には言えませんが、大体1文字≒1～3トークンとされています。

ChatGPTのトークンは、入力できる文字数の制限やChatGPTのAPI利用料金にも影響するため、ChatGPTを理解する上で重要な概念と言えます。

※これさえ読めば、ChatGPTの機能・できること・活用方法まで全てわかる、最新情報をまとめた資料をダウンロード頂けます。
⇒【5分でわかる】ChatGPT活用ガイドブックの資料ダウンロードはこちら(無料)

ChatGPTのトークン数の上限とは？

ChatGPTのトークン数の上限はモデルごとに異なり、上の表の通りとなります。

無料版に搭載されているGPT-3.5のトークン数の上限は4,096トークンであり、日本語では約2000文字程度です。

GPT-4のトークン数の上限は32,768トークンであり、日本語では約2万5000文字です。また、最新版のGPT-4 Turboは、128,000トークンであり、日本語では約10万文字です。

ChatGPTのトークン数の数え方

ChatGPTの英語と日本語のトークン数の数え方について、ご紹介します。

①英語のトークン数の数え方

英語の場合は、1単語あたり大体1トークンとシンプルです。ピリオドやカンマなどの句読点も1トークンとしてカウントされます。

②日本語のトークン数の数え方

日本語の場合は、英語と異なり1文字＝1トークンとはなりません。目安としては、ひらがな1文字あたり1～2トークン、漢字1文字あたり1～3トークンとなります。

ChatGPTのトークン数の調べ方

ChatGPTに入力する文章のトークン数は、OpenAI社が提供する公式ツールである「Tokenizer」を用いることで調べることができます。

Tokenizerを使って、英語と日本語の文字数を調べた結果をご紹介します。

※生成AIツールの導入を検討される方に、ChatGPTを含む10大生成AIツールの特徴や選び方、活用方法をまとめた資料をダウンロード頂けます。
⇒10大生成AIツール徹底比較の資料ダウンロードはこちら(無料)

①英語のトークン数を調べた結果

上の画像は、「I have a pen.」という文章のトークン数を調べた結果です。ピリオドも1トークンにカウントされ、合計トークン数は5となりました。

②日本語のトークン数を調べた結果

上の画像は、「私は今夜、外食に行く予定があります。」という文章のトークン数を調べた結果です。

18文字の文章に対し、トークン数は19となっており、日本語の場合は必ずしも、文字数とトークン数が一致しないことがわかります。

ChatGPTのトークン数の上限への対処法３選

ChatGPTのトークン数の上限への対処法として、以下の3つが挙げられます。

• ①質問を短く簡潔にまとめる
• ②質問を複数回に分けて送信する
• ③直前の回答内容を引用して質問する

以上の3つの方法を上手く活用することにより、制限がある中でも、ChatGPTを最大限有効に活用することができます。