2022-10-12

クローラーがWebサイト上を巡回するためには、クローラーにWebサイトを発見してもらわないと意味がありません。クローラーが見るWebサイトと、私たちユーザーが見るWebサイトは見方が全く異なるため、クローラーが読み取れるテキスト情報が不可欠というわけです。