ChatGPTのトークン数の上限は？数え方や3つの対処法も紹介

更新日：2024年7月13日　｜　

ChatGPTを利用している方の中には、「トークン」という単語を聞いたことがある方も多いのではないでしょうか。

トークンとは、ChatGPTが処理するテキストの基本単位のことで、英語であれば1単語あたり1トークン、日本語では1文字あたり1～3トークンとされています。トークンは、ChatGPTに入力できる文字数の上限を決める重要な概念です。

本記事では、ChatGPTのトークンの上限について、対処法とともにわかりやすくご紹介します。

また、今なら助成金活用で最大75%OFFと大変お得にご利用いただける、AI総研のAI・ChatGPT活用研修サービスがご好評をいただいています。ご興味のある方は以下のリンクから、助成金の活用方法やサービス内容が分かる資料をダウンロードいただけます。

そもそもChatGPTのトークンとは？

ChatGPTにおけるトークンとは、ChatGPTに入力するテキストの基本単位のことで、テキストを一つの意味のあるまとまりに分けたものです。

例えば、英語の場合は1単語≒1トークンとなります。日本語の場合のトークン数は、ひらがなか漢字かによっても異なるので一概には言えませんが、大体1文字≒1～3トークンとされています。

ChatGPTのトークンは、入力できる文字数の制限やChatGPTのAPI利用料金にも影響するため、ChatGPTを理解する上で重要な概念と言えます。

※これさえ読めば、ChatGPTの機能・できること・活用方法まで全てわかる、最新情報をまとめた資料をダウンロード頂けます。
⇒【5分でわかる】ChatGPT活用ガイドブックの資料ダウンロードはこちら(無料)

ChatGPTのトークン数の上限はモデルごとに異なり、上の表の通りとなります。

無料版に搭載されているGPT-3.5のトークン数の上限は4,096トークンであり、日本語では約2000文字程度です。

GPT-4のトークン数の上限は32,768トークンであり、日本語では約2万5000文字です。また、最新版のGPT-4 Turboは、128,000トークンであり、日本語では約10万文字です。

ChatGPTの英語と日本語のトークン数の数え方について、ご紹介します。

英語の場合は、1単語あたり大体1トークンとシンプルです。ピリオドやカンマなどの句読点も1トークンとしてカウントされます。

日本語の場合は、英語と異なり1文字＝1トークンとはなりません。目安としては、ひらがな1文字あたり1～2トークン、漢字1文字あたり1～3トークンとなります。

ChatGPTに入力する文章のトークン数は、OpenAI社が提供する公式ツールである「Tokenizer」を用いることで調べることができます。

Tokenizerを使って、英語と日本語の文字数を調べた結果をご紹介します。

※生成AIツールの導入を検討される方に、ChatGPTを含む10大生成AIツールの特徴や選び方、活用方法をまとめた資料をダウンロード頂けます。
⇒10大生成AIツール徹底比較の資料ダウンロードはこちら(無料)

上の画像は、「I have a pen.」という文章のトークン数を調べた結果です。ピリオドも1トークンにカウントされ、合計トークン数は5となりました。

上の画像は、「私は今夜、外食に行く予定があります。」という文章のトークン数を調べた結果です。

18文字の文章に対し、トークン数は19となっており、日本語の場合は必ずしも、文字数とトークン数が一致しないことがわかります。

ChatGPTのトークン数の上限への対処法として、以下の3つが挙げられます。

以上の3つの方法を上手く活用することにより、制限がある中でも、ChatGPTを最大限有効に活用することができます。

AI総研では、AI活用研修サービスの無料体験会を、毎月10社限定で実施しています。

各社様の現状やお悩みに合わせ、AI・ChatGPT活用のアイデアやテクニックなどを、個別のオンラインMTGにて無料でご紹介させていただきます。また、助成金活用やAI研修の選び方などについての各種相談も無料で承ります。

以下のようなご担当者様は、この機会にぜひご参加ください。