Webスクレイピングってなに？ | 長期有給インターン生の日常|株式会社ガーディアン | 株式会社ガーディアン｜141億のデータで中小企業を勝たせるWEB戦略データ・カンパニー | 株式会社ガーディアン｜141億のデータで中小企業を勝たせるWEB戦略データ・カンパニー

みなさん、こんにちは！
京都事業所受託プロダクトチームインターン生の肖かえいです😆

今日は最近勉強したWebスクレイピングについて書いていこうと思います。
WebスクレイピングとはWebサイトから特定の情報を自動的に抽出するコンピュータソフトウェア技術のことです。
例えばどこかのサイトの画像全部を一括ダンロードしたいなと思ったときいちいち手作業でダンロードするのはめんどくさいですよね？

そんなときプログラムでWebの情報を読み取って自動でダンロードしちゃおうというのがWebスクレイピングです。

こんな便利なWebスクレイピングですが使う際にはかなりの注意が必要です。
なぜならかなりのサイトでこのWebスクレイピング、規約で禁止されているんです。
有名どころならAmazon,楽天,Twitterなどです。

規約で禁止されていなくとも防御策をとっているところもあります。
例えば、何かにログインするとき「私はロボットではありません」というチェックが入ることがあると思いますが
あれは実はスクレイピング防止策なんですよね！
こうした禁止の背景にはスクレイピングツールによるサーバーへの過重な負荷を防ぐ目的があります。

Webスクレイピングはかなり奥が深いので興味がある方は是非調べてみてください！
---------------------------------------------------------------------------------------------
インターン募集ページ: https://guardian.jpn.com/recruit/intern/
メンバー紹介ページ：https://guardian.jpn.com/member/Xiao_Kaei/
---------------------------------------------------------------------------------------------