Pythonで実装！Custom Search APIを使ったGoogle検索結果の自動収集

１．Google Custom Search APIとは

Google Custom Search APIは、Googleの検索結果の情報をJSON形式で返してくれるAPIです。
■Custom Search JSON API

なお、Google検索結果を取得する方法として、Pythonでスクレイピングという手段も考えられますが、Googleは許可なく検索結果をスクレイピングすることを禁止しているようです。
そのため、スクレイピングではなく、Googleが提供しているAPIを使って検索結果を取得しましょう。

２．API利用のための事前準備

まず、Google Cloud Platform（以下、GCP）でCustom Search APIを使うために必要な手続きを行います。

３．Google検索結果をAPIで取得する

実際にPythonでAPIを呼び出し、Google検索結果を取得してみます。

＜参考サイト＞
■Custom Search JSON API ＞ REST Reference
■google-api-python-client

Pythonを実行する前に、Google API Clientライブラリをインストールします。

pip install --upgrade google-api-python-client

次に、Pythonファイルの作成と実行を行います。
コード例：

custom_search_api_sample.py

1. AWS Systems Managerのパラメータストアに保存したAPIキーと検索エンジンID（CXキー）を取り出す
2. 任意のキーワードでGoogle検索結果を取得する
3. 検索結果（JSON形式）から必要な情報を抽出し、CSVファイルに出力する

#!/usr/bin/env python				
# coding: utf-8				
from datetime import datetime, timedelta, timezone				
				
import pandas as pd				
import boto3				
from googleapiclient.discovery import build				
				
pd.set_option('display.max_colwidth', 1000)				
				
# Systems Manager - Parameter Storeへのアクセス				
API_KEY = 'Google-API-Key'				
CSE_ID = 'Google-Custom-Search-Engine-Id'				
				
session = boto3.session.Session(profile_name='xxxxxx')				
ssm = session.client('ssm')				
params = {}				
res = ssm.get_parameters(				
    Names=(API_KEY, CSE_ID),				
    WithDecryption=True				
)				
for p in res['Parameters']:				
    params[p['Name']] = p['Value']				
				
# get the API KEY				
google_api_key = params[API_KEY]				
# get the Search Engine ID				
google_cse_id = params[CSE_ID]				
				
				
def get_search_results(query, start_index):				
    # Google Custom Search API				
    service = build("customsearch",				
                    "v1",				
                    cache_discovery=False,				
                    developerKey=google_api_key)				
    # CSEの検索結果を取得				
    result = service.cse().list(q=query,				
                                cx=google_cse_id,				
                                num=10,				
                                start=start_index).execute()				
    # 検索結果(JSON形式)				
    return result				
				
				
def main():				
    query = "いちご農家 HP"				
				
    # ExecDate				
    timezone_jst = timezone(timedelta(hours=+9), 'JST')				
    now = datetime.now(timezone_jst)				
				
    # Google検索 - Custom Search API				
    data = get_search_results(query, 1)				
    total_results = int(data['searchInformation']['totalResults'])				
    print('total_results', total_results)				
				
    # Google検索結果から任意の項目抽出 & rank付与				
    items = data['items']				
				
    result = []				
    num_items = len(items) if len(items) < 10 else 10				
    for i in range(num_items):				
        title = items[i]['title'] if 'title' in items[i] else ''				
        link = items[i]['link'] if 'link' in items[i] else ''				
        snippet = items[i]['snippet'] if 'snippet' in items[i] else ''				
        result.append(				
            't'.join([str(i+1), title, link, snippet])				
        )				
				
    # List->DataFrame				
    df_search_results = pd.DataFrame(result)[0].str.split('t', expand=True)				
    df_search_results.columns = ['rank', 'title', 'url', 'snippet']				
				
    # CSV出力				
    dt_csv = now.strftime('%Y%m%d%H%M')				
    output_csv = f'csv/{query}_{dt_csv}.csv'				
    df_search_results.to_csv(output_csv,				
                             sep=",",				
                             index=False,				
                             header=True,				
                             encoding="utf-8")				
    pd.read_csv(output_csv, index_col=0)				
				
				
if __name__ == '__main__':				
    main()				

プログラムの実行

python custom_search_api_sample.py

プログラムを実行すると、検索結果がCSVファイル形式で保存されます。
●ファイル名：{検索キーワード}_{YYYYMMDDHHMM}.csv

４．API無料枠と課金について

＜参考サイト＞
■Custom Search JSON API ＞ Pricing
■プログラム可能な検索エンジンのバージョン

Google Custom Search APIは有料サービスです。
無料枠を超えると課金が発生します。
上記参考サイトの「Pricing」に記載がありますが、Custom Search APIの利用制限に注意が必要です。

• APIリクエストの利用制限（無料枠）：100クエリ／日まで
  ※1日100クエリを超えると課金が発生します。
  ※APIコンソールで支払方法を追加すると、100クエリ制限は解除できます。
• 料金：1,000クエリあたり＄5
• 1日のクエリ上限：10,000 クエリ／日
  ⇒有料であっても1日の最大受付数は10,000クエリまでです
• API呼び出し1クエリあたりの検索結果は最大10件
  ⇒APIリクエスト1回につき10件までしか取得できないため、100件取得するためには10リクエスト使うことになります

＜リセットタイミングについて＞
「毎日の割り当ては、太平洋時間（PT）の午前0時にリセットされます」と記載があります。
日本標準時（JST）でいうと17時です（サマータイム期間は16時）。

割り当ての上限値や使用状況は、GCPのCloud Consoleの「IAMと管理」＞「割り当て」画面で確認できます。

５．通常のGoogleウェブ検索との違い

＜参考サイト＞
■プログラム可能な検索エンジンとは

APIで取得した結果と通常のGoogleウェブ検索した結果は微妙に異なります。
実際、検索順位に微妙に差異があったり、取得件数が通常のウェブ検索結果の方が多かったりしました。

また、APIではGoogleの「もしかして」機能が含まれないなど、Googleウェブ検索の一部機能が含まれません。
※「もしかして」機能とは、ユーザーから受け取ったキーワードについて「もしかしてこれを入力したかったんじゃないかな？」と、Googleのコンピュータが判断した場合、簡単に訂正できるようにするためのものです。

６．おわりに

PythonでGoogleのCustom Search APIを使って、キーワード検索した結果を取得し、結果データを操作するところまで行いました。
コードを数行書くだけで自動で情報収集ができるので、データ活用の前提となるデータ収集に一役買えるのではないでしょうか。

例えば、以下のような活用方法が考えられます。

• APIから返ってきた検索結果情報を簡単にまとめる（営業開拓先リストの収集など）
• 特定のキーワードでヒットするWEBサイトのデータを活用。検索結果のURLごとにスクレイピング処理を実施して自動でWEBから情報収集する
• 自サイトがどのキーワードで検索順位が何位だったかを追跡する

まずは「どこからデータを取得したいのか」を決めるのに、Custom Search APIは有用なツールとして使えそうです。