仮想通貨に全ツッパ

仮想通貨投資の記録とプログラマーとしての技術備忘録の日記です。

pythonでスクレイピングしてみよう

f:id:hotkou:20180121000332j:plain

こんばんわ。

本日はpythonでスクレイピングしてみましょう。

スクレイピングとは?

一言でいうと、外部サイトにアクセスして自分の欲しい情報を取得してくるという手法です。
基本的には外部サイトの情報を取得する場合、まずAPIが公開されている場合はAPIを使用します。
APIが公開されていないけど、どうしても対象サイトの更新情報を取得してなんらかの処理を行いたい(メール通知等)といった場合にWebスクレイピングが用いられることがあります。


僕はこの書籍で勉強しました。



はじめに

スクレイピングは使用方法によっては、相手に迷惑をかける行為になる場合があります。
ルール・節度を守って実行するようにしてください。

以下参考
Webスクレイピングの注意事項一覧 - Qiita

動作環境

  • Windows10(64bit)
  • python3(Anaconda)
  • IDE:Spyder(IDEなのでなんでもよいでしょう)

準備

pipの実行

pip install beautifulsoup4
pip install requests

プログラム

Coinmarketcapをスクレイピング

gist.github.com

実行結果
■BTC
price:$12773.10
rate24h:8.35%
■ETH
price:$1133.13
rate24h:5.46%
■XRP
price:$1.56
rate24h:-5.45%
■BCH
price:$1879.51
rate24h:2.88%
■ADA
price:$0.689025
rate24h:2.77%
■LTC
price:$204.44
rate24h:3.52%


※coinmarketcapはAPIが公開されています。あえて今回はスクレイピングしてみました。
coinmarketcapのAPIの使い方は以前の記事で紹介しているので参考にしてください。
www.crypto-attack.work


とりあえず今日はここまで。後日リライトするかも。