Pythonスクレイピング入門編1　たった９行でできる楽天市場スクレイピング

今回は、たった9行のコードで楽天市場の検索結果から商品名を自動で抜き出すことが出来るというプログラミングの内容です。

初心者でもとっつきやすいよう、機能を絞った最小のプログラムになりますが、Pythonの楽しさや、スクレイピングの楽しさを実感していただきたいと思い、記事にしました。

でははじめ！

想定の対象者

他のプログラミング言語より比較的に簡単なPythonですが、各コードの意味を理解しようとすると、ある程度のプログラミングの基礎知識や多言語での経験が必要です。
オブジェクト思考の考え方も知っていると、より良いです。

とはいえ、初学者でもなるべく理解できるような説明もしていきますね。

何をしたいか

今回実現したいことをまず書いておきます。

楽天市場の検索結果をスクレイピングして、情報を収集する
ということを実践して行きたいと思います。

いきなり色々な機能を付けると複雑になってしまうので、最小のコードで、スクレイピングの楽しさを感じていただけるようなプログラムから始めていきましょう。

まずは、楽天市場の検索で「コーヒー」と入力した検索結果の1ページ目の検索結果を取得し、その商品名を全部表示する　というプログラムにします。

コード

まずは、完成形のコードを書いておきます。

# -*- coding: utf-8 -*-
import requests
from bs4 import BeautifulSoup
url="https://search.rakuten.co.jp/search/mall/コーヒー/"
html=requests.get(url)
soup=BeautifulSoup(html.text,'html.parser')
items=soup.select('.searchresultitem .title')
for item in items:
    print(item.text)

これだけです。
たった9行です。

思ったより少ない量ではないでしょうか。
この少ないコードで実現できるのがPythonの強みです。
実行結果
このプログラムコードを実行すると、↓のような商品名がずら～ーっと単純に羅列したものが表示されます。

普段のWindowsやmacの画面に慣れていると、なんともつまらくて殺風景に見えることでしょう。
僕はWindows3.1+MS-DOSの頃からPCに触れていますので、ギリギリこの黒画面にも抵抗はない世代です＾＾;

解説
では、1行ずつ何をしているかを説明しましょう。
1行目：文字コードの宣言
1行目

# -*- coding: utf-8 -*-

とあります。
これは、このPythonファイルの文字コードを明言するためのおまじないです。
Pythonは標準でUTF-8という、現在主流の文字コードを使いますが、念の為コードの1行目か2行目　つまり先頭で「このファイルはUTF-８で書いてありますよ」ということを宣言してあげることになっています。
よほどのことがない限り、これを別の文字コードに変更することはないと思いますので、これはもうルーチンとして必ず先頭に書く　というクセをつけておきましょう。
２－３行目：必要なモジュールを読み込む
２行目・３行目を見てみましょう。

from bs4 import BeautifulSoup

import requests

となっています。
この２行は少し文法が違いますが、同じような意味のコードで、モジュールの組み込みを行うコードです。
モジュールとは
Pythonにはモジュールという概念があり、もともとPythonが標準的に持っている機能に付け加えて、世界中のプログラマーが作成した外部プログラムを部品のように組み込む事ができます。
すると、Pythonは標準で出来ることだけでなく、出来ることがどんどん増えていきます。

自動車を買うときに、いろいろメーカーのオプションを付けていくような感覚で、自分の作るプログラムに、必要な機能だけ組み込むことができるのです。
これにより全部の機能を自分でプログラミングしなくても、誰かが作った機能を簡単に使うことが出来るのです。
Pythonはこのモジュールやライブラリと言われる便利な部品が山のようにあり、これがPythonの価値を高めています。
import requests
２行目の「import requests」は、import文といい、外部のモジュールを読み込む命令文です。
「requests」というモジュールは、インターネット上のデータを取得してくる場合にWEBと通信してくれる機能を持っています。
このモジュールを読み込むことで、今回スクレイピングする楽天市場のサイトのHTMLを取得してPythonで扱うことが出来るわけですね。
from bs4 import BeautifulSoup
３行目「from bs4 import BeautifulSoup」は、２行目と同じく外部のモジュールを使うことを宣言するコードです。
２行目と違うのは、from句が付け足されています。

２行目ではrequestsというモジュールを読み込み、その中に含まれる部品（関数）を全部使うことができます。
３行目は、bs４というモジュールから、BeautifulSoupという部品を読み出す命令です。

「bs4」というモジュールの中の「BeautifulSoup」という一部の部品（関数）のみ読み込む場合に、このような

from A import B

という書き方をします。
Aの部分には、読み込むモジュール名を書きます。

ここでは「bs4」というモジュールを指定しています。
今回は、bs4というモジュールに含まれる「BeautifulSoup」という部品のみ読み込むということを明言しています。
これにより、PythonはBeautifulSoupというクラスを使うことが出来るわけです。
４行目：スクレイピングするURLを設定する
次に４行目を見ましょう。

url=”https://search.rakuten.co.jp/search/mall/コーヒー/”

何をしている文？
この文は、urlという変数に、これからアクセスして情報を取得するURLを入れています。
楽天市場の検索の仕組みは、https://search.rakuten.co.jp/search/mall/　という定形のもののあとに、検索したいキーワードを続けることで、その検索結果を取得することができます。
まずは、「コーヒー」という検索キーワードを予め指定したURLをそのままurlという変数に入れておくこととしましょう。
変数に入れることで、次から「https://search.rakuten.co.jp/search/mall/コーヒー/」と長いアドレスを書くことなく、「url」という簡略化した名前（変数名）でアクセスすることができます。
５行目：WEBにアクセスして、結果のページデータを取得する
５行目を見てみましょう。

html=requests.get(url)

とあります。
先ほど設定したurlというアドレスにアクセスして、その検索結果のページデータをhtmlという変数に入れてください。という文です。
requests.getとは
プログラムに慣れて居ない方はここで躓きがちですが、この文では先程２行目で読み込んだモジュール「requests」の機能を使っています。
requestsというモジュールに含まれるgetという関数に対して、４行目で説明したurlというアドレスを指定しています。

これにより、Pythonが勝手に楽天市場にアクセスをして、その結果のデータを取得してくれます。
これで、htmlという変数には、無事楽天市場の検索結果のHTML文章が格納されました。
６行目：BeautifulSoupでHTMLを扱いやすいデータ形式にする
６行目を見てみましょう。

soup=BeautifulSoup(html.text,’html.parser’)

とあります。
３行目で読み込んだ外部モジュールbs4のBeautifulSoupクラスを使って、５行目で変数htmlに格納したHTMLデータを、プログラムで取り扱いやすい形式に解析・変換してくれます。
BeautifulSoupの構文
BeautifulSoupというクラスに対して、まずhtml.textを渡します。

html　は５行目で読み込んだ検索結果のHTMLのオブジェクトですが、そのHTML文を指定するときにhtml.textと表現します。
次に、「html.parser」の部分は、HTML文の解析をするときに、Pythonに標準で用意されているhtml.parserという解析システムを使いますよ、という部分になります。
こういう解析システムは、「パーサー」と呼ばれます。

パーサーには他にもいろいろありますが、ここではPython標準のhtml.parserを使います。
解析・構造化されたデータが出来る
以上で解析され、扱いやすいように構造化されたデータが「soup」という変数に格納されました。
次から、このsoupの中身から、必要な検索結果の商品名を取り出していくこととなります。
７行目：HTML文の中から、商品名の部分だけを抜き出す
７行目を見ましょう。

items=soup.select(‘.searchresultitem .title’)

これは６行目で準備したsoupというデータの中から、指定したCSSセレクタに該当するHTML部分のみ「items」という変数に入れてください。

という文です。
CSSセレクタで商品名の部分だけ抜き出す
HTML文には、いろんなタグ（DIVとかIMGとか）が含まれますが、それぞれのタグには名前が付いています。
楽天のHTML構造で言えば、検索結果の商品の１つ１つが「searchresultitem」 というcssクラス名の付いたDIVタグで包まれています。

さらにその中に商品名を示す「.title」という部品を必ず持っていますので、それを指定します。
select(CSSセレクタ)　という命令で、必要な部分のみ抜き出すことができます。

この書き方は、CSSファイルを書いたことがある人ならすぐわかると思いますが、一般的なCSSのセレクタ構文がほぼそのまま使えますので、簡単に必要な部分だけを指定することが出来てとても便利です。
items変数は、リスト形式
.searchresultitem .title　　で指定した商品名は、１つの検索結果ページに45個含まれています。

つまり、今回の文で得られる結果は、４５個あるわけです。
それをitemsという１つの変数に格納してくれるわけですが、Pythonはリストという仕組みがあり、複数の変数を一つのitemsというリストに入れられます。

ここでは４５個の商品名をitemsリストに格納してくれたことになります。
これで、目的の検索結果の商品名の準備がすべて完了しました。
８－９行目：商品名を表示する
最後の命令文です。

今までの文で準備した商品名を画面に表示しましょう。
それが８行目・９行目です。

for item in items: 

　print(item.text)

ここでは、for というPythonの基本構文を使います。
８行目では、さきほど４５個の商品名を格納したリスト「items」に対して１個目から４５個目まで、１つづつ取り出し、itemという変数に次々に格納してくれます。
for文は1回の命令で次々に沢山のデータに対して同じ処理をすることが出来ます。
画面表示
９行目は、８行目でitemに次々に格納される商品名を、順次画面に表示するというprint　というPythonの基本命令を使います。
print(表示したい変数や値)

という書き方で、画面に表示がされます。
ここでは、itemで格納された商品名のHTML文の中から、テキスト部分　つまり商品名そのもの　を表示するという文ですね。
実は、最短4行で実現できます
今回のプログラムは、見通しの良さと理解のしやすさを考慮して、やや丁寧なコードにしました。
ですが、最短で書こうと思えば、4行で実現できてしまいます。
import requests
from bs4 import BeautifulSoup
for item in BeautifulSoup(requests.get("https://search.rakuten.co.jp/search/mall/コーヒー/").text,'html.parser').select('.searchresultitem .title'):
    print(item.text)
こんな感じ。
各段階で変数に値を代入していたのを、全部省いてしまえば　こういう超短いコードで書いてしまうことも可能です。
ですが見にくくなりますし、第三者が見たらわかりにくいことこの上ないのでおすすめはしませんが、Pythonの可能性は感じていただけると思います。
まとめ
この９行のコードを実行すれば、画面に４５商品分の商品名が次々に表示がされると思います。

ちょっと感動じゃないですか？
普通ならブラウザを立ち上げ、楽天市場のサイトに行って、「コーヒー」と入力して検索ボタンを押し、その結果ページの商品名を一個一個コピペしていくような作業が必要になるところが、この９行のプログラムだけですべて自動で商品名を抜き出せるわけです。
手動でやったら余裕で５分以上はかかる作業ですが、それがプログラムを呼び出すだけで２−３秒で出来てしまいます。
このようなスクレイピングは、楽天市場だけではなく、どのサイトにも有効です。
今回は、基本のスクレイピングプログラムをかなり丁寧に見てみました。

次からは、このプログラムを拡張していき、どんどん機能を増やしていければ良いと思います。




Pythonによるスクレイピング&機械学習 開発テクニック BeautifulSoup,scikit-learn,TensorFlowを使ってみよう

posted with ヨメレバ

クジラ飛行机 ソシム 2016-12-06

Amazon
Kindle
楽天ブックス