#beautifulsoup4

[devdogblog]

ดึงผลหวยจากเว็บ Sanook ด้วย Code 11 บรรทัด

ดึงผลหวยจากเว็บ Sanook.com ด้วย BeautifulSoup และ requests แบบไม่ใช้ selenium ติดตั้ง BeautifulSoup ก่อนด้วยคำสั่งต่อไปนี้ pip install beautifulsoup4 ทำการ Import Package requests และ BeautifulSoup import requests from bs4 import BeautifulSoup ประกาศตัวแปรเพื่อเก็บ URL หน้าเช็คผลหวยของเว็บ Sanook.com url = "https://news.sanook.com/lotto/" เขียนคำสั่งเพื่อดึงข้อมูลจาก URL…

View On WordPress

[ob4by]

BeautifulSoup4 中文乱码

BeautifulSoup4解析页面的时候发现有一部分内容是乱码，刚开始还以为是pycharm的问题，后来发现可能问题不是出在pycharm上，因为普通的print打印的中文是没有问题的。测试代码如下： def proxy_get(url): if is_use_proxy: socks.set_default_proxy(socks.SOCKS5, PROXY_HOST, PROXY_PORT) socket.socket = socks.socksocket req = requests.get(url, headers=HEADERS) return req.text def get_sub_pages_test(url): ''' http://www.meitulu.cn/t/shishen/ :param url: :return: ''' bs =…

View On WordPress

[dblogstream]

It’s always fun to automate the boring stuff in python. When it comes to web automation we all know the importance of requests and beautifulsoup4 library .

https://www.dblogstream.com/article/detail/How-I-handled-Django-csrf-token-using-the-request-library/

Handeling csrf in django using requests library.

[pentesttoolz]

Tweep - An Advanced Twitter Scraping Tool

Tweep - An Advanced Twitter Scraping Tool #scraping #twitter #tweep #tools #hacking #kali #linux #infosec #Twitter

Tweep is an advanced Twitter scraping tool written in python that allows for scraping Tweets and pictures from Twitter profiles without using Twitter’s API.

Benefits Some of the benefits of using Tweep vs Twitter API:

Fast initial setup

Can be used anonymously

No rate limitations

Can fetch all Tweets (Twitter API limits to last 3200 Tweets)

Requirements

BeautifulSoup4 pip install beautifulsoup4

U…

View On WordPress

[yangbeomsu]

python을 이용한 클리앙 파서만들기 - BeautifulSoup 사용편(1차 수정)

from bs4 import BeautifulSoup import requests from requests.compat import urljoin base_url = "http://www.clien.net/cs2/bbs/board.php?bo_table=lecture" header = {'User-Agent': 'Mozilla/5.0'} r = requests.post(base_url,headers=header) r.encoding = "utf-8" bs4_clien = BeautifulSoup(r.text,"html.parser") find_mytr = bs4_clien.find_all("tr",attrs={'class':"mytr"}) for t in find_mytr: try: print(t.find('td',attrs={'class':'post_category'}).get_text()) print("제목 : {}".format(t.find('td',attrs={'class':'post_subject'}).get_text())) print("url : {}".format(urljoin(base_url,t.find('td',attrs={'post_subject'}).a.get('href')))) print("글쓴이 : {}".format(t.find('td',attrs={'class' : 'post_name'}).get_text())) except AttributeError: continue

이전 BeautifulSoup 사용법 보다 짧은 코드로 수정해 보았습니다. 이전과의 차이점은 파이썬 내장 urllib가아닌 requests를 사용하였습니다. <td class="mytr">을 가져와 그안에 있는 category,subject,post_name 그리고 url 을 출력하는 예제입니다.

내용은 이전과 같으며 소스만 수정해보았습니다.

[yangbeomsu]

python을 이용한 클리앙 파서만들기 - BeautifulSoup 사용편

지난 HTML 분석편에서 확인했듯이 우리는 <td class="mytr">을 가져와 category,subject,post_name 이 3가지를 출력하려고 합니다. 우선 BeautifulSoup를 설치해야겠지요?

pip install BeaautifulSoup4

BeautifulSoup에선 third-party Python parser인 lxml과 html5lib도 지원하지만 저는 Python의 기본 내장 파서를 사용하려고합니다.

from bs4 import BeautifulSoup from urllib.request import Request,rulopen from urllib.paarse import urljoin

첫 from bs4 import BeautifulSoup은 BeautifulSoup를 사용하기 위해 추가해주는것이며 from urllib.request importRequest,urlopen 은 url을 이용하여 해당 페이지에 접속하기 위해 추가해 줍니다. 마지막 from urllib.parse import urljoin은 다음과 같이 해당 글의 url을 상대경로로 표시되어있습니다. 이를 절대경로로 변경하여 주기 위하여 추가해 줍니다.

clien 팁과강좌 게시판 접속하기

우선 clien 팁과강좌 게시판을 여는 코드를 작성해 보겠습니다.

base_url = "http://www.clien.net/cs2/bbs/board.php?bo_table=lecture" url_request = Request(base_url,headers={'User-Agent': 'Mozilla/5.0'}) clien_tip_board = urlopen(url_request).read()

Request의 headers={'User-Agent': 'Mozilla/5.0'}는 적어주시지 않으면 봇으로 간주하여 해당 페이지를 열수 없게 하는경우가 있기에 User-Agent를 조작하여 접속을 하게 됩니다.

이곳까지 작성하였다면 우리는 clien 팁과강좌 게시판을 가져오는데 성공하였습니다 : ^)

BeautifulSoup을 이용하여 원하는 부분 출력하기

이제 본격적으로 BeautifulSoup을 이용하여 원하는 부분들만 가져와서 출력을 하면됩니다.

bs4_clien = BeautifulSoup(clien_tip_board,"html.parser") find_mytr = bs4_clien.find_all("tr",attrs={'class':"mytr"}) for t in find_mytr: print(t.find('td',attrs={'class':'post_category'}).get_text(strip=True)) print("제목 : "+t.find('td',attrs={'class':'post_subject'}).get_text(strip=True).encode('cp949','ignore').decode('cp949')) print("url : "+urljoin(base_url,t.find('td',attrs={'post_subject'}).a.get('href'))) print("글쓴이 : "+t.find('td',attrs={'class' : 'post_name'}).get_text(strip=True))

우선은 find_all()함수를 사용할 것인데요. bs4_clien.find_all() 함수는 find_all 말그대로 bs_clien에서 해당하는것들을 모두 가져 오는 함수입니다. 우리는 1페이지의 모든 </td><tr class="mytr">을 가져오기로 했었습니다. 따라서 다음과 같은 코드가 필요합니다.

find_mytr = bs4_clien.find_all("tr",attrs={'class':"mytr"})

다음은 이제 mytr을 가져왔으니 그안에 있는 post_category,post_subject,post_name을 가져 와보도록 하겠습니다.

for t in find_mytr: print(t.find('td',attrs={'class':'post_category'}).get_text(strip=True)) print("제목 : "+t.find('td',attrs={'class':'post_subject'}).get_text(strip=True).encode('cp949','ignore').decode('cp949')) print("url : "+urljoin(base_url,t.find('td',attrs={'post_subject'}).a.get('href'))) print("글쓴이 : "+t.find('td',attrs={'class' : 'post_name'}).get_text(strip=True))

다 공통된 부분인데요 find()함수는 해당하것을 가져오는 함수입니다. find_all()함수와는 다르게 첫번째것만을 가져오기때문에 첫번째것 하나만 필요하게 되면 훨씬 효율적인 코드가 되겠지요.

<td class="post_category">를 가져오기위하여

find('td',attrs={'class':'post_category'})

를 사용하였습니다. 그뒤 .get_text(strip=True)는 해당태그 안에있는 텍스트를 가져오는 함수인데요 strip=True는 앞뒤공백문자를 지워주는 옵션입니다.

</td><td class="post_subject"> 도 마찬가지로 find()함수와 get_text()함수를 사용하여 가져옵니다.

url주소는 </td><td class="post_subject"> 태그 안에있는 <a href=""> 에 존재하고있습니다. 따라서 t.find('td',attrs={'post_subject'}).a.get('href')이러한 방법으로 url 주소를 가져오게 됩니다. find함수로 </a></td><td class="post_subject">를 가져오고 그안에 있는 a 태그의 href를 가져오는 방법입니다. 위에서 말했듯 이곳엔 상대경로인 ../~로 시작된 주소가 포함되어있는데요. 이것을 절대경로 즉 우리가 접속하는 주소로 바꿔주는 함수가 바로 처음에 추가해주었던 urljoin()함수입니다.

자 이제 Clien 팁과강좌 게시판을 파싱하는 법이 끝났습니다. 전에 올린 트위터강좌와 연계하여 사용한다면 자신이 원하는 글이 올라오면 Twitter를 통하여 DM으로 받을 수 있겠네요.

제목부분에 encode후 decode를 하였는데요. 사실 이것때문에 BeautifulSoup편 강좌가 늦어졌습니다. 저는 윈도우를 사용하기때문에 cmd창에서 cp949를 사용하여 출력을하는데 한분이 강좌를 올려주신 글에 cp949에서 없는 글자인지 자꾸 오류를 뿜더군요. 그래서 cp949로 인코딩을 하며 없는 문자는 그냥 제거를 해버렸습니다.

[yangbeomsu]

python을 이용한 클리앙 파서만들기 - HTML 분석편

지난번 클리앙에 올린 글에서 댓글에 파싱하는 방법을 묻는 분이 계셔서 작성해봅니다.

원하는 사이트의 HTML 분석하기

우선 웹파서를 만들기 위해서는 html을 분석을 해야합니다.

그렇다면 html을 공부하고 만들어야하느냐? 또 그것은 아닙니다. 우리에겐 개발자 도구 툴이있으니까요.

이 글은 클리앙과 제 개인 블로그(Tumblr)에 올릴 것이기 때문에 클리앙 개시판을 분석해보도록 하겠습니다.

저는 웹브라우저로 크롬을 사용중에 있습니다.

클리앙의 팁&강좌 게시판에 들어가 F12를 눌러봅니다.

그럼 오른쪽이나 하단부분에 다음과 같은 창이 생깁니다.

이 개발자 툴을 이용하여 클리앙 게시판이 어떻게 되어있나 확인해보겠습니다.

개발자 도구를 보시면 왼쪽 상단에 돋보기 아이콘이 있습니다. 그것을 누르고 알고싶은 영역을 클릭하시면됩니다

저는 제목부분이 궁금하여 제목을 클릭하였습니다.

클릭을 하니 다음과 같이 나옵니다.

<td class="post_subject"> 에 제목이 들어있는 것을 확인할 수 있습니다. <td class="post_category">엔 카테고리가,<td class="post_name">엔 해당글을 올린 사용자의 닉네임이 출력이 되고 있습니다.

그아래에 보시면 <tr class="mytr">이 반복되고 있는것을 보실수 있는데요. 이것을 열어보면 방금봤던 <tr class="mytr"> <td class="post_category"> <td class="post_subject"> <td class="post_name">

이 반복되고 있는것을 알 수 있습니다.

이를통하여 클리앙 팁 & 강좌게시판의 카테고리,제목,게시물 작성자 등을 가져 오기위해서는 <tr class="mytr">을 와야 한다는 것을 알 수 있습니다.

그리고 주소창을 보시면 처음 접속하였을땐 주소가 http://clien.net/cs2/bbs/board.php?bo_table=lecture 2페이지를 클릭 하였을땐 http://clien.net/cs2/bbs/board.php?bo_table=lecture&page=2 로 변하는 것을 보아 마지막 page=페이지 번호 라는것을 알아 낼수 있습니다.

이제 클리앙 팁&게시판 분석이 끝났네요 이제 해야할 것은 page=페이지넘버 의<tr class="mytr">를 가져와 그안에 있는 내용들을 자신이 원하는 방법으로 사용을 하면 될 것 같습니다.

다음편에선 python으로 파싱하는 방법을 올리겠습니다.

[momijiame]

Python: Scrapy と BeautifulSoup4 を使った快適 Web スクレイピング

前回 BeautifulSoup4 を単独で使ってスクレイピングする方法について記事を書いた。 Web スクレイピングは主にクローリングとスクレイピングの二つのパートに分かれていて、BeautifulSoup4 は後者に特化したパッケージだった。 今回は、Scrapy というフレームワークを使って、前者のクローリングも含めてやってみよう。 まずは今回使用する Scrapy と BeautifulSoup4 をインストールする。 ちなみに Scrapy は現時点で Python 3 対応が完了していないので、ここからの作業は全て Python 2.x 系の環境が必要になる。 また、今回の内容には不要だけど、いちいち出る警告を消したいので service_identity も一緒にインストールしておく。

$ pip install scrapy beautifulsoup4 service_identity

インストールできたら scrapy コマンドが使えるようになる。

$ scrapy -h Scrapy 0.24.5 - project: helloworld Usage: scrapy [options] [args] Available commands: bench Run quick benchmark test check Check spider contracts crawl Run a spider deploy Deploy project in Scrapyd target edit Edit spider fetch Fetch a URL using the Scrapy downloader genspider Generate new spider using pre-defined templates list List available spiders parse Parse URL (using its spider) and print the results runspider Run a self-contained spider (without creating a project) settings Get settings values shell Interactive scraping console startproject Create new project version Print Scrapy version view Open URL in browser, as seen by Scrapy Use "scrapy -h" to see more info about a command

scrapy コマンドには、プロジェクトのひな形を作るためのサブコマンドが用意されている。 まずは helloworld という名前でプロジェクトを作成しよう。

$ scrapy startproject helloworld

サブコマンド startproject によって、以下のようなファイルツリーが作られる。

$ find helloworld helloworld helloworld/helloworld helloworld/helloworld/__init__.py helloworld/helloworld/items.py helloworld/helloworld/pipelines.py helloworld/helloworld/settings.py helloworld/helloworld/spiders helloworld/helloworld/spiders/__init__.py helloworld/scrapy.cfg

今回は、このブログ自体をスクレイピングの題材にしてみよう。 まずは、このブログを探索するためのクローラ (Scrapy では Spider と呼ぶ) を作ろう。 先ほどと同様、こちらも scrapy コマンドのサブコマンド genspider でひな形を作ることができる。 第一引数が Spider の名前、第二引数がクロール対象のドメインだ。

$ cd helloworld $ scrapy genspider myblog momijiame.tumblr.com

コマンドを実行すると、指定した名前で Spider のスクリプトファイルができる。

$ find helloworld -name "myblog.py" helloworld/spiders/myblog.py

初期の内容はこのようになっている。 parse() メソッドが、クロールした Web サイトをスクレイピングするためのエントリポイントだ。 クローラは、まず始めに start_urls に記述された URL から HTML を取得して、その内容で parse() メソッドを呼び出す。

$ cat helloworld/spiders/myblog.py # -*- coding: utf-8 -*- import scrapy class MyblogSpider(scrapy.Spider): name = "myblog" allowed_domains = ["momijiame.tumblr.com"] start_urls = ( 'http://www.momijiame.tumblr.com/', ) def parse(self, response): pass

ちょいちょいと直して、まずはブログの各ページを辿れるようにしてみよう。 クローラが次のページを辿るようにするには、scrapy.Request クラスのインスタンスを parse() メソッドが返すようにすれば良い。 parse() メソッドはジェネレータとして作ることで、一つのページから複数のページを辿れるようにできる。 ページのスクレイピングには前回同様 BeautifulSoup4 を使った。 尚、BeautifulSoup4 を使わない場合には lxml を直接使ってスクレイピングすることになるが、はっきり言ってこの API の書式を覚えるのは時間の無駄なので止めたほうが良い。

$ cat helloworld/spiders/myblog.py #!/usr/bin/env python # -*- coding: utf-8 -*- import scrapy from bs4 import BeautifulSoup class MyblogSpider(scrapy.Spider): name = 'myblog' allowed_domains = ['momijiame.tumblr.com'] start_urls = ( 'http://momijiame.tumblr.com/', ) def parse(self, response): soup = BeautifulSoup(response.body) # 次のページへのリンクが入った <li> を取得する next_page = soup.find('li', {'class': 'next'}) # <li> の中に入った <a> を取り出す next_page_link = next_page.a # 次のページがあるか確認する if 'href' not in next_page_link.attrs: # 次のページが見つからなかったので終了 yield # 次のページがあるときは URL を組み立てる baseurl = 'http://momijiame.tumblr.com' path = next_page_link['href'] url = '{baseurl}{path}'.format(baseurl=baseurl, path=path) print(url) # scrapy.Request を返すと次にクロールするページの指定になる next_crawl_page = scrapy.Request(url) yield next_crawl_page

スクレイピングを実行するには scrapy コマンドの crawl サブコマンドを実行する。 先ほどの Spider の名前を指定しよう。

$ scrapy crawl myblog ...(省略)... 2015-03-22 21:07:54+0900 [myblog] DEBUG: Crawled (200) <GET http://momijiame.tumblr.com/> (referer: None) 2015-03-22 21:07:55+0900 [myblog] DEBUG: Crawled (200) <GET http://momijiame.tumblr.com/page/2> (referer: http://momijiame.tumblr.com/) 2015-03-22 21:07:55+0900 [myblog] DEBUG: Crawled (200) <GET http://momijiame.tumblr.com/page/3> (referer: http://momijiame.tumblr.com/page/2) 2015-03-22 21:07:56+0900 [myblog] DEBUG: Crawled (200) <GET http://momijiame.tumblr.com/page/4> (referer: http://momijiame.tumblr.com/page/3) ...(省略)...

各ページを順番に辿っていることがわかる。 次は各ページにあるブログポストから、タイトルと本文内にあるリンクを抽出してみることにしよう。 そこで、まずは抽出した内容を格納するためのオブジェクトを作る。 このオブジェクトはひな形が items.py に既に作られている。

$ cat helloworld/items.py # -*- coding: utf-8 -*- # Define here the models for your scraped items # # See documentation in: # http://doc.scrapy.org/en/latest/topics/items.html import scrapy class HelloworldItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() pass

こちらもちょいちょいと直してタイトルとリンクの配列を格納できるようにしておこう。 といっても、基本的に格納したい名前で scrapy.Field のメンバを羅列するだけだ。

$ cat helloworld/items.py #!/usr/bin/env python # -*- coding: utf-8 -*- import scrapy class MyblogLinkItem(scrapy.Item): title = scrapy.Field() links = scrapy.Field()

各ページのスクレイピングは、先ほどとは別の Spider で定義することにしよう。 先ほどの myblog.py に、個別のブログポストを処理するための MyblogPostSpider を追加する。 追加した MyblogPostSpider は各ブログポストの ID を指定すると、そのポストの内容からタイトルとリンクを抽出して MyblogLinkItem を生成して返す。

$ cat helloworld/spiders/myblog.py #!/usr/bin/env python # -*- coding: utf-8 -*- import scrapy from bs4 import BeautifulSoup from helloworld.items import MyblogLinkItem class MyblogSpider(scrapy.Spider): name = 'myblog' allowed_domains = ['momijiame.tumblr.com'] start_urls = ( 'http://momijiame.tumblr.com/', ) def parse(self, response): soup = BeautifulSoup(response.body) # 次のページへのリンクが入った <li> を取得する next_page = soup.find('li', {'class': 'next'}) # <li> の中に入った <a> を取り出す next_page_link = next_page.a # 次のページがあるか確認する if 'href' not in next_page_link.attrs: # 次のページが見つからなかったので終了 yield # 次のページがあるときは URL を組み立てる baseurl = 'http://momijiame.tumblr.com' path = next_page_link['href'] url = '{baseurl}{path}'.format(baseurl=baseurl, path=path) # scrapy.Request を返すと次にクロールするページの指定になる next_crawl_page = scrapy.Request(url) yield next_crawl_page class MyblogPostSpider(scrapy.Spider): name = 'myblogpost' allowed_domains = ['momijiame.tumblr.com'] def __init__(self, post_id, *args, **kwargs): super(MyblogPostSpider, self).__init__(*args, **kwargs) self.post_id = post_id url = 'http://momijiame.tumblr.com/post/{post_id}'.format( post_id=self.post_id, ) self.start_urls = [url] def parse(self, response): soup = BeautifulSoup(response.body) content = soup.find('div', {'class': 'body'}) links = content.find_all('a') if len(links) < 1: # 記事にハイパーリンクが含まれていないので終了 return # ハイパーリンクがあったらタイトルと共にアイテムを返す title_div = soup.find('div', {'class': 'title'}) title = title_div.a.text link_urls = [link['href'] for link in links] item = MyblogLinkItem(title=title, links=link_urls) return item

例えば以下のブログポストであれば、112779388536 の部分がブログポストの ID になる。 http://momijiame.tumblr.com/post/112779388536/python-k では、実際に Spider を実行してみよう。 -a オプションで Spider を作成する際の引数が指定できる。 ここではブログポストの ID を渡している。 また、今回は先ほどとは異なり実際にページをスクレイピングして内容を抽出 、scrapy.Item として返している。 そこで、得られた内容を JSON 形式でファイルに保存するために -t オプションで出力フォーマットを、-o オプションで保存先ファイルを指定している。

$ scrapy crawl myblogpost -a post_id=112779388536 -t jsonlines -o result.json

実行すると、以下のようにタイトルとリンクが JSON 形式で得られたことがわかる。 しかし、どうやらマルチバイト文字が Unicode 形式でエスケープされてしまっているようだ。

$ cat result.json {"links": ["http://momijiame.tumblr.com/post/112690753481/python", "http://momijiame.tumblr.com/post/112222402816/python-iris-k-leave-one-out"], "title": "Python: K-\u5206\u5272\u4ea4\u5dee\u691c\u8a3c\u3092\u8a66\u3059"}

エスケープされていると扱いづらいので、そのまま出したい。 そこで、scrapy.Item を各形式に出力するための Exporter に細工しよう。 先ほど使った jsonlines フォーマットに対応する Exporter を、Unicode エスケープしないように拡張したものを作ってみる。

$ cat helloworld/exporters.py #!/usr/bin/env python # -*- coding: utf-8 -*- from scrapy.contrib.exporter import JsonLinesItemExporter class NonEscapeJsonLinesItemExporter(JsonLinesItemExporter): def __init__(self, filepath, **kwargs): super(NonEscapeJsonLinesItemExporter, self).__init__( filepath, ensure_ascii=False )

作成した Exporter は Scrapy の設定ファイル settings.py で読み込ませることができる。 以下はデフォルトの settings.py だ。

$ cat helloworld/settings.py # -*- coding: utf-8 -*- # Scrapy settings for helloworld project # # For simplicity, this file contains only the most important settings by # default. All the other settings are documented here: # # http://doc.scrapy.org/en/latest/topics/settings.html # BOT_NAME = 'helloworld' SPIDER_MODULES = ['helloworld.spiders'] NEWSPIDER_MODULE = 'helloworld.spiders' # Crawl responsibly by identifying yourself (and your website) on the user-agent #USER_AGENT = 'helloworld (+http://www.yourdomain.com)'

ここに、FEED_EXPORTERS という変数名で、拡張した Exporter を登録してやる。

# -*- coding: utf-8 -*- # Scrapy settings for helloworld project # # For simplicity, this file contains only the most important settings by # default. All the other settings are documented here: # # http://doc.scrapy.org/en/latest/topics/settings.html # BOT_NAME = 'helloworld' SPIDER_MODULES = ['helloworld.spiders'] NEWSPIDER_MODULE = 'helloworld.spiders' # Crawl responsibly by identifying yourself (and your website) on the user-agent #USER_AGENT = 'helloworld (+http://www.yourdomain.com)' FEED_EXPORTERS = { 'nejl': 'helloworld.exporters.NonEscapeJsonLinesItemExporter', 'nejsonlines': 'helloworld.exporters.NonEscapeJsonLinesItemExporter', }

一旦先ほどの実行結果を削除した上で、拡張した Exporter を使って再度クローラを実行してみよう。

$ rm result.json $ scrapy crawl myblogpost -a post_id=112779388536 -t nejsonlines -o result.json

結果を見るとエスケープされていないことがわかる。

$ cat result.json {"links": ["http://momijiame.tumblr.com/post/112690753481/python", "http://momijiame.tumblr.com/post/112222402816/python-iris-k-leave-one-out"], "title": "Python: K-分割交差検証を試す"}

では最後に、先ほど作った個別のブログポストを処理する Spider と、各ページを辿る Spider を連携させよう。 各ページを辿る MyblogSpider に、各ブログポスト部分を抽出する処理を加える。 そして、抽出した箇所の処理は個別のブログポストを処理する MyblogPostSpider に任せてやる。

#!/usr/bin/env python # -*- coding: utf-8 -*- try: # Python 2 import urlparse as parse except ImportError: # Python 3 from urllib import parse import scrapy from bs4 import BeautifulSoup from helloworld.items import MyblogLinkItem class MyblogSpider(scrapy.Spider): name = 'myblog' allowed_domains = ['momijiame.tumblr.com'] start_urls = ( 'http://momijiame.tumblr.com/', ) def parse(self, response): soup = BeautifulSoup(response.body) # 各ブログポストの <div> を取得する posts = soup.find_all('div', {'class': 'title'}) for post in posts: post_url = post.a['href'] # URL から記事の ID を取得する parse_result = parse.urlparse(post_url) path_segments = parse_result.path.split('/') post_id = path_segments[2] # 記事の ID を指定して個別のポストを処理する Spider を生成する spider = MyblogPostSpider(post_id) # リクエストを処理するコールバックに上記の Spider のメソッドを指定する req = scrapy.Request(url=post_url, callback=spider.parse) yield req # 次のページへのリンクが入った <li> を取得する next_page = soup.find('li', {'class': 'next'}) # <li> の中に入った <a> を取り出す next_page_link = next_page.a # 次のページがあるか確認する if 'href' not in next_page_link.attrs: # 次のページが見つからなかったので終了 yield # 次のページがあるときは URL を組み立てる baseurl = 'http://momijiame.tumblr.com' path = next_page_link['href'] url = '{baseurl}{path}'.format(baseurl=baseurl, path=path) # scrapy.Request を返すと次にクロールするページの指定になる next_crawl_page = scrapy.Request(url) yield next_crawl_page class MyblogPostSpider(scrapy.Spider): name = 'myblogpost' allowed_domains = ['momijiame.tumblr.com'] def __init__(self, post_id, *args, **kwargs): super(MyblogPostSpider, self).__init__(*args, **kwargs) self.post_id = post_id url = 'http://momijiame.tumblr.com/post/{post_id}'.format( post_id=self.post_id, ) self.start_urls = [url] def parse(self, response): soup = BeautifulSoup(response.body) content = soup.find('div', {'class': 'body'}) links = content.find_all('a') if len(links) < 1: # 記事にハイパーリンクが含まれていないので終了 return # ハイパーリンクがあったらタイトルと共にアイテムを返す title_div = soup.find('div', {'class': 'title'}) title = title_div.a.text link_urls = [link['href'] for link in links] item = MyblogLinkItem(title=title, links=link_urls) return item

早速実行してみよう。

$ rm result.json $ scrapy crawl myblog -t nejsonlines -o result.json

実行結果は以下の通り。 ページを順番にクロールしながら、各ページに存在するブログポストをスクレイピングできていることがわかる。

$ cat result.json {"links": ["http://momijiame.tumblr.com/post/109872767881/python-pulp", "http://ja.wikipedia.org/wiki/%E9%AD%94%E6%96%B9%E9%99%A3"], "title": "Python: PuLP で魔方陣を解く"} {"links": ["https://chrome.google.com/webstore/detail/livereload/jnihajbhpnppcggbcgedagnkighmdlei"], "title": "タスクランナー Gulp を使って Sphinx の執筆作業を捗らせる"} {"links": ["https://github.com/momijiame/angular-route-sample", "https://github.com/momijiame/angular-route-sample.git"], "title": "AngularJS: ngRoute を使ってリクエスト毎にページを出し分ける"} {"links": ["http://momijiame.tumblr.com/post/96190247656/python-sqlalchemy-activerecord"], "title": "Python: SQLAlchemy で DataMapper パターンを試してみる"} {"links": ["https://www.sdcard.org/downloads/formatter_4/eula_mac/SDFormatter_4.00B.pkg", "https://www.sdcard.org/downloads/formatter_4/eula_mac", "http://ftp.jaist.ac.jp/pub/raspberrypi/raspbian/images/raspbian-2014-01-09/2014-01-07-wheezy-raspbian.zip"], "title": "Raspberry PI で NAT ルータを作る"} ...(省略)...

めでたしめでたし。