Webスクレイピングツール
プログラムの機能概要
Webサイトを自動的に巡回して情報データを収集するPHPプログラムです。プログラミング学習教材として作成したものなので、作り方を公開しています。
https://code-notes.com/lesson/6このプログラムで出来ること
「Webスクレイピングツール」で実現できる項目の一覧です。
- WebサイトからHTMLデータを取得する
- 取得したデータを解析、次に送信するデータを設定する
- 抽出した情報をcsvデータとして出力する
学習素材として学べること
「Webスクレイピングツール」の機能を実装していく上で獲得できる技術の一覧です。
- URLへのアクセス方法
- 取得したデータのキャッシュ化
- HTMLデータの解析方法
入手情報
STORESのショップCode Notesに出品しています