ChatGPTを利用している方の中には、「トークン」という単語を聞いたことがある方も多いのではないでしょうか。

トークンとは、ChatGPTが処理するテキストの基本単位のことで、英語であれば1単語あたり1トークン、日本語では1文字あたり1～3トークンとされています。

トークンは、ChatGPTに入力できる文字数の制限やChatGPTに支払う料金に大きく影響するため、ChatGPTを利用する上で理解すべき重要な概念です。

そこで本記事では、「トークンって聞いたことがあるけど何なのかよくわからない」という方に向けて、ChatGPTのトークンの基本や重要性、数え方・調べ方についてわかりやすくご紹介します。

またAI総研では、AI活用を検討する上で押さえておきたい、AI・ChatGPTの最新活用事例50選の狙いや取り組みをまとめたレポートを無料で配布しています。ご興味のある方は、以下リンクからダウンロードしてご活用ください。

⇒AI・ChatGPT活用事例50選の資料ダウンロードはこちら(無料)

ChatGPTのトークンとは？

ChatGPTにおけるトークンとは、ChatGPTに入力するテキストの基本単位のことで、テキストを一つの意味のあるまとまりに分けたものです。

例えば、英語の場合は1単語≒1トークンとなります。日本語の場合のトークン数は、ひらがなか漢字かによっても異なるので一概には言えませんが、大体1文字≒1～3トークンとされています。

ChatGPTのトークンは、入力できる文字数の制限や利用料金にも影響するため、ChatGPTを理解する上で重要な概念と言えます。

※これさえ読めば、ChatGPTの機能・できること・活用方法まで全てわかる、最新情報をまとめた資料をダウンロード頂けます。
⇒【5分でわかる】ChatGPT活用ガイドブックの資料ダウンロードはこちら(無料)

ChatGPTのトークンが重要である２つの理由

ChatGPTのトークンが重要である理由として、主に以下の2つが挙げられます。

• ①文字数制限はトークン数に左右されるから
• ②トークン数に応じてAPI利用料金が決まるから

それぞれについてわかりやすく紹介していきます。

①文字数制限はトークン数に左右されるから

ChatGPTには、一度に入力できる文字数に制限があります。

文字数の上限はトークン数によって定まるため、トークンの概念を理解しておくことは、ChatGPTに入力できる文字数を把握しておく上で重要となります。

②トークン数に応じてAPI利用料金が決まるから

ChatGPTのAPIを利用した場合には、トークン数に応じて課金されます。

API利用料金は、ChatGPTのモデルによっても異なりますが、GPT-3.5の場合、1000トークン当たり、大体0.002ドルとなっています。

したがって、使用するトークン数が多いとAPI利用料金も高くなるので、APIを利用する上では、トークン数の管理・節約が非常に重要になります。

ChatGPTのトークン数の上限とは？

ChatGPTのトークン数の上限はモデルごとに異なり、上の表の通りとなります。

無料版に搭載されているGPT-3.5のトークン数の上限は4,096トークンであり、日本語では約2000文字程度です。

GPT-4のトークン数の上限は32,768トークンであり、日本語では約2万5000文字です。また、最新版のGPT-4 Turboは、128,000トークンであり、日本語では約10万文字です。

※AI/ChatGPTを導入する前に必ず押さえておきたい、基礎知識や導入方法３パターンの比較、リスクと対策などをまとめた資料をダウンロード頂けます。
⇒AI/ChatGPT導入マニュアルの資料ダウンロードはこちら(無料)

ChatGPTのトークン数の数え方

ChatGPTの英語と日本語のトークン数の数え方について、ご紹介します。

①英語のトークン数の数え方

英語の場合は、1単語あたり大体1トークンとシンプルです。ピリオドやカンマなどの句読点も1トークンとしてカウントされます。

②日本語のトークン数の数え方

日本語の場合は、英語と異なり1文字＝1トークンとはなりません。目安としては、ひらがな1文字あたり1～2トークン、漢字1文字あたり1～3トークンとなります。

ChatGPTのトークン数の調べ方

ChatGPTに入力する文章のトークン数は、OpenAI社が提供する公式ツールである「Tokenizer」を用いることで調べることができます。

Tokenizerを使って、英語と日本語の文字数を調べた結果をご紹介します。

①英語のトークン数を調べた結果

上の画像は、「I have a pen.」という文章のトークン数を調べた結果です。ピリオドも1トークンにカウントされ、合計トークン数は5となりました。

②日本語のトークン数を調べた結果

上の画像は、「私は今夜、外食に行く予定があります。」という文章のトークン数を調べた結果です。

18文字の文章に対し、トークン数は19となっており、日本語の場合は必ずしも、文字数とトークン数が一致しないことがわかります。

ChatGPTのトークン数の上限への対処法３選

ChatGPTのトークン数の上限への対処法として、以下の3つが挙げられます。

• ①質問を短く簡潔にまとめる
• ②質問を複数回に分けて送信する
• ③直前の回答内容を引用して質問する

以上の3つの方法を上手く活用することにより、制限がある中でも、ChatGPTを最大限有効に活用することができます。