Sionの日記

オッサンゲーマー

ChatGPT (OpenAI) によるWebサイトの勝手なクローリングと学習を拒否する方法

push.co.jp

自宅鯖へのアクセスが増大してめちゃくちゃ負荷になってるので調査。どうやらOpenAIによるクローリングがいろんなところから行われている模様で、アクセス頻度がやばい(夏だなぁ)。学習はしてもらってもいい内容なんだけど、貧弱な自宅鯖では耐えられないのでOpenAIを拒否するように変更。

これでしばらく様子見。

2024/8/18 追記 ちゃんと拒否られてそう(昨日の途中から拒否するようにしたので8/17はログがまだ大量にあるけどそれ以降は激減した)

$ ls -la
合計 1828
drwxr-x---  2 root adm     4096  8月 18 09:42 .
drwxr-xr-x 12 root root    4096  8月 18 00:00 ..
-rw-r-----  1 root adm    43221  8月 18 09:34 access.log
-rw-r-----  1 root adm  1531487  8月 17 23:55 access.log.1
-rw-r-----  1 root adm   134062  8月 16 23:58 access.log.2
-rw-r-----  1 root adm   111106  8月 15 23:58 access.log.3