Python初心者による食べログのスクレイピング

皆さん、こんにちは！DSUのYUJIです。

始めに、皆さんに質問があります！

ごはんを食べるお店を探すってなったら、どんな手段で検索しますか？

多くの方が「食べログ」「ぐるなび」といったサイトでお店を探す方が多いのではないでしょうか。
行ってみたいお店が複数ある場合は口コミの評価が良いほうに決定したりすることも多いのではないでしょうか。

口コミと言っても、一つずつ確認していくのは大変な作業です。時間もかかりますし手間です。
そんな問題を解決して美味しいお酒を飲めるお店を見つけ出すため、Pythonを駆使したスクレイピングを作成しました。

そもそも、スクレイピングって何？

簡単に言うと、Webページの情報を取得することができる技術のことです。

例えば、Amazonで商品を買いたいけど、レビューの情報だったり似たような商品が多くて判断に困りませんか。
株価を知りたいけど毎日確認を手動で繰り返していくのは面倒ですよね。
そんな場面で、Pythonを駆使したWebスクレイピングを行えば、指定した文字、ファイル、データなどをプログラムで自動収集することができるようになるんです！

そんな便利な機能があるなら、さっそくスクレイピングを行ってみよう！となりますよね。
ここで注意してほしいのが、スクレイピングを行うにあたって注意すべきルールがあるということです。

それぞれの注意点について、順にお話していきます。

スクレイピングは、それ自体は違法ではありません。注意が必要なのは、そこから派生する法的な問題点です。

注意点をしっかり守って、スクレイピングを有効活用していきましょう！

スクレイピングのコードを書いてみた！

注意事項をしっかりと確認し、実際に「食べログ」のサイトを使用して評価の高いバーの情報を取得してみました。

まずは、どのエリアでどういったジャンルを調べたいか絞り込みを行います。その後、絞り込んだデータを使って次に記載されるソースコードに当てはめていきます。

▼ソースコード内の値変更箇所
適宜、自分が気になるジャンルで値の当てはめを実施してください。
今回は、データ一覧をログファイル名にして使用しています。

また、対象のジャンルの他にも口コミ件数や評価を設定することもできます。

完成したソースコードを動かしてみた！

今回は以下の実行環境で動かしてみました。

ソースコードはエディタ（Atom）で実装して、実行はJupyter NoteBookです。

写真にもある通り、とっても時間がかかりました。今回は８時間かかっていますね。
気になる実施結果はこんな感じです！

※食べログ規約にもとづき口コミにはモザイクをいれています。

情報はしっかりと取得できていました！

結果としては、「東京都」で「バー」のお店を食べログでランキング検索して1200件中492件のデータを取得し、総口コミ数は7113件となりました。
1200件中492件だけを抽出した理由は上記でも述べているように、バーとそれに準ずるお店を選別したためです。ランキングの中にはイタリアンや、フレンチなどのお店も含まれていました。

Pythonを使ったスクレイピングの感想

今回は食べログからスクレイピングしてお店の情報や口コミを取得することができました。
取得したデータからお店の特徴量は抽出できると思うが、カクテルの種類に対するデータが少ないため、他のサイトからカクテルレシピデータを取得する必要がありそうです。
また、データの抽出時間についても時間がかかってしまったため、どうにか短縮できる方法を調べていきたいと思いました。

世間では、外出自粛により旅行に行けなかったり、外出が難しい日々が続いています。
晴れて外に出やすい環境になったときに、外出先の調査としてスクレイピングで情報収集してみてはいかがでしょうか？

私は、今までにないくらい食べログのサイトを見たのでバーに行って美味しいお酒を飲みたい欲が高まってしまいました(笑)