この記事では、私が普段使っているAIテキスト検出ツールの生成AIチェッカーの精度をご紹介します！
結論から言うと、AIと人間の文章を見分ける精度はかなり高いです。
※AIで作った文章と、私が契約した外注ライター6名から納品されてきた記事の8パターンでチェックしてみました。
私はワードプレスで30を超えるブログを運営しているのですが、アドセンスの審査に出す記事以外は基本的にすべて外注ライターに執筆を依頼しています。
外注ライターから記事が納品されてきた時に、AIツールを使って執筆していないかをチェックする時に使っているのがこの生成AIチェッカーなんですね。
今回は、AIで作成した文章と契約している外注ライター達から納品されてきた文章を実際にチェックした結果を画像付きでご紹介していきます。
「自分で書いた記事がAI判定されないか不安」
「外注さんから記事が納品されてきた時に、AIをつかっていないか不安」
という方は必見ですよ。
生成AIチェッカーの精度を徹底検証！実際のチェック結果を画像付きで公開！
論より証拠ということで、さっそく、画像付きで生成AIチェッカーの精度をご紹介していきます。
今回登場していただくのは、
・ChatGPT （GPT-4）
・Perplexity
・外注ライターA
・外注ライターB
・外注ライターC
・外注ライターD
・外注ライターE
・外注ライターF
チェック結果を、順番にご紹介しますね。
ChatGPT（GPT-4）
まずはChatGPTの有料版、GPT-4です。
以下のプロンプトを送信してみました。
「クーラーと扇風機以外の方法でお金をかけずに部屋の中を涼しくする方法を日本語で教えて。」
その結果出力された文章をチェックすると、75％AIが書いた可能性の結果が出ました。
75％AIが書いた可能性がある、というのはほとんどAIが書いたものと判定されていると言っていいでしょうね。
Perplexity
次は、Perplexity です。
さきほどのChatGPTの時と同じプロンプトを入力してチェック。
生成AIチェッカーは、80％AIが書いたと判断したようです。
外注ライターA
ここからは、人間が書いた文章で検証していきましょう。
※納品されてきた文章がわからないように、「入力されたテキスト」の部分は画像に含んでいません。
少ない文字数でシンプルに分かりやすく解説するのが得意なライターさんです。
80％人によって書かれた可能性が高い（20％AIで書かれた記事）
という結果がでました。
さきほどのChatGPT（GPT-4）とPerplexityと比較すると、一気にAIの確率が下がりましたね。
外注ライターB
この方は、少し真面目そうな感じが伝わってくる文章を書く外注ライターBさんです。
人間が書いた可能性は90％、という結果でした。
外注ライターBさんの記事は、目視チェックをしていても自然な日本語でとても読みやすいのが特徴です。
生成AIチェッカーは、AIが生成する文章と自然な日本語で文章を書く人間を見分けているのでしょうね。
さらに見ていきましょう。
外注ライターC
情熱的で説得力がある記事を納品してくる外注ライターCさんです。
結果は、人間が書いた可能性90％。
記事を目視確認していても、「AIを使って書いていない」とすぐに分かるので安心して執筆を任せることができています。
また、話し言葉で記事を書いてくれるので文章がとても読みやすいです。
外注ライターD
この方は、メッセージでやり取りをしていても非常に丁寧な方だなと言う印象の外注ライターDさんです。
納品されてくる記事の文章も、非常に丁寧です。
結果は、65％人間が書いた可能性と出ました。
どちらかと言うと、話し言葉ではなく書き言葉で記事を執筆しています。
最近気づいたのですが、「話し言葉で納品されてくる文章の方が人間が書いた可能性が高い」と出る傾向が高い用に思います。
逆に、書き言葉の文章だと、若干AIが書いた可能性の比率が高くなりる印象があります。
外注ライターE
文章から元気の良さが伝わってくる外注ライターEさんです。
話し言葉にプラスして「！」も適度に使ってくれるため、文章を読んでいて飽きないんですよね。
※契約したばかりの頃は、「！」が多すぎたので、一度だけやんわりと注意したことがありました。
結果は90％人間が書いた可能性、でした。
話し言葉な
外注ライターF
この外注ライターFさんは、ある大学の文学部出身で、文章を書くのがとても上手です。
納品されてきた記事を読むと、どちらかと言うと書き言葉寄りです。
結果は、65％人間が書いた可能性と出ました。
先ほどもお話したとおり、書き言葉の文章だと、若干AIが書いた可能性の比率が上がります。
しかし、人間が書いた記事の場合今のところ「AIが書いた可能性35％」を超えたことはありません。
検証結果のまとめ
ここまで、AIツール2つと外注ライター6名から納品されてきた記事の文章を使って生成AIチェッカーの精度を検証してきました。
その結果得られた結果は以下の通りです。
・AIツールで作成した文章は「AIが書いた可能性は、75～80％」
・外注ライター（人間）が書いた文章は「人間が書いた可能性、65～90％」
・話し言葉の文章の方が、人間が書いた可能性のパーセンテージが高く出る傾向がある
・逆に、書き言葉の文章は、AIが書いた可能性が若干高く出やすい
以上のことが分かりました！
「生成AIチェッカーでチェックして人間が書いた可能性が高ければ、もう安心ですね」と思ったあなた。
ちょっと待ってください！
まだ一つだけやるべきことがあるので、ここから解説しますね。
生成AIチェッカーだけではなく目視確認も必ず行う
AIで書いた文章は、日本語が不自然だったり、明らかに人間が使わないような表現が含まれていることが多いです。
なので、もしも生成AIチェッカーで「ほぼ人間が書いた可能性が高い」という結果が出たとしても、必ず最後に目視確認をして最終的な判断をしてくださいね。
大切なことなので、念の為お伝えしました！
まとめ
・生成AIチェッカーがAIと人間が書いた文章を見分ける精度はかなり高い
・AIで生成した文章は「AIが書いた可能性が75％以上」
・人間によって書かれた文章の場合は「人間が書いた可能性が65％以上」だった。
・書き言葉よりも話し言葉で書かれた文章の方が人間が書いた可能性のパーセンテージが高やすい
・生成AIチェッカーだけではなく目視確認
この記事では、以上のような内容を解説しました。
ここまで見てきた通り、生成AIチェッカーはAIと人間が書いた文章を見分ける精度がかなり高いという結果になりました。
参考になれば嬉しいです。
コメント