ScrapingBee (独立系発行者) (プレビュー)
ScrapingBee は、Web 上で最も強力な Web スクレイピング サービスです。 ヘッドレス ブラウザー、プロキシ、CAPTCHA を処理し、CSS セレクターを使用して任意の Web サイトから複雑な構造化情報を抽出し、JavaScript シナリオ (クリック、スクロール、フォーム入力など) を実行します。
このコネクタは、次の製品および地域で利用可能です:
| Service | クラス | 地域 |
|---|---|---|
| Logic Apps | 標準 | 以下を除くすべての Logic Apps 地域 : - Azure 政府の地域 - Azure 中国の地域 - 国防総省 (DoD) |
| Power Automate | プレミアム | 以下を除くすべての Power Automate 地域 : - 米国政府 (GCC) - 米国政府 (GCC High) - 21Vianet が運用する中国のクラウド - 国防総省 (DoD) |
| Power Apps | プレミアム | 以下を除くすべての Power Apps 地域 : - 米国政府 (GCC) - 米国政府 (GCC High) - 21Vianet が運用する中国のクラウド - 米国国防総省 (DoD) |
| お問い合わせ先 | |
|---|---|
| 件名 | Troy Taylor |
| [URL] | https://www.hitachisolutions.com |
| メール | ttaylor@hitachisolutions.com |
| Connector Metadata | |
|---|---|
| 発行者 | Troy Taylor |
| Web サイト | https://www.scrapingbee.com/ |
| プライバシー ポリシー | https://www.scrapingbee.com/privacy-policy/ |
| カテゴリー | Web サイト |
接続を作成する
コネクタは、次の認証タイプをサポートしています:
| 既定 | 接続を作成するためのパラメーター。 | すべての地域 | 共有不可 |
既定
適用できるもの: すべての領域
接続を作成するためのパラメーター。
これは共有可能な接続ではありません。 パワー アプリが別のユーザーと共有されている場合、別のユーザーは新しい接続を明示的に作成するように求められます。
| 件名 | タイプ | 内容 | 必要 |
|---|---|---|---|
| API キー | securestring | この API の API キー | True |
調整制限
| 名前 | 呼び出し | 更新期間 |
|---|---|---|
| 接続ごとの API 呼び出し | 100 | 60 秒 |
アクション
| Google 検索を実行する |
Google 検索結果ページのスクレイプを取得する |
| URL の仕損 |
仕損要求された URL を取得し、要求に応じて JavaScript をレンダリングします。 |
| 使用状況を取得する |
クレジット消費と同時実行の使用に関する情報を取得します。 |
Google 検索を実行する
Google 検索結果ページのスクレイプを取得する
パラメーター
| 名前 | キー | 必須 | 型 | 説明 |
|---|---|---|---|---|
|
検索する
|
search | True | string |
Google 検索バーに入力するテキスト。 |
|
Country Code
|
country_code | string |
要求を送信する国。 |
|
|
Results
|
nb_results | integer |
返される結果の数。 |
|
|
ぺージ
|
page | integer |
結果を抽出するページ番号。 |
|
|
Language
|
language | string |
結果を返す言語。 |
|
|
追加パラメーター
|
extra_params | string |
送信する追加の URL パラメーター。 |
戻り値
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
[URL]
|
meta_data.url | string |
URL アドレス。 |
|
Results
|
meta_data.number_of_results | integer |
結果の件数。 |
|
場所
|
meta_data.location | string |
場所。 |
|
有機的な結果
|
meta_data.number_of_organic_results | integer |
有機的な結果数。 |
|
広告
|
meta_data.number_of_ads | integer |
広告数。 |
|
ぺージ
|
meta_data.number_of_page | integer |
ページ番号。 |
|
結果なしのメッセージ
|
meta_data.no_results_message | string |
結果なしのメッセージ。 |
|
有機的な結果
|
organic_results | array of object | |
|
[URL]
|
organic_results.url | string |
URL アドレス。 |
|
表示される URL
|
organic_results.displayed_url | string |
表示される URL アドレス。 |
|
Description
|
organic_results.description | string |
説明設定。 |
|
追加情報
|
organic_results.extra_info | string |
追加情報。 |
|
Position
|
organic_results.position | integer |
ポジション。 |
|
肩書き
|
organic_results.title | string |
肩書き。 |
|
ローカル結果
|
local_results | array of string |
ローカル結果。 |
|
上部の広告
|
top_ads | string |
上部の広告。 |
|
下部の広告
|
bottom_ads | string |
下部の広告。 |
|
関連クエリ
|
related_queries | array of object | |
|
Text
|
related_queries.text | string |
テキスト。 |
|
Position
|
related_queries.position | integer |
ポジション。 |
|
質問
|
questions | array of string |
質問。 |
URL の仕損
仕損要求された URL を取得し、要求に応じて JavaScript をレンダリングします。
パラメーター
| 名前 | キー | 必須 | 型 | 説明 |
|---|---|---|---|---|
|
[URL]
|
url | True | string |
仕損する URL。 |
|
JS をレンダリングする
|
render_js | True | boolean |
ヘッドレス ブラウザーで Web サイトをレンダリングします。 |
|
JS シナリオ
|
js_scenario | string |
レンダリング前に JavaScript を実行します。 |
|
|
Wait
|
wait | integer |
レンダリング前の待機時間。 |
|
|
待機の対象
|
wait_for | string |
DOM に特定の要素が表示されるまで待機する |
|
|
広告をブロックする
|
block_ads | boolean |
広告をブロックするかどうか。 |
|
|
リソースをブロックする
|
block_resources | boolean |
すべての画像と CSS をブロックするかどうか。 |
|
|
ウィンドウの幅
|
window_width | integer |
使用するウィンドウの幅。 |
|
|
ウィンドウの高さ
|
window_height | integer |
使用するウィンドウの高さ。 |
|
|
プレミアム プロキシ
|
premium_proxy | boolean |
プロキシを使用して Web サイトを仕損するかどうか。 |
|
|
Country Code
|
country_code | string |
Web サイトを仕損するのに使用するプロキシ国。 |
|
|
ステルス プロキシ
|
stealth_proxy | boolean |
ステルス プロキシを使用して Web サイトを仕損するかどうか。 |
|
|
独自のプロキシ
|
own_proxy | string |
使用する独自のプロキシ。 |
|
|
ルールの抽出
|
extract_rules | string |
応答する前に HTML を解析するための抽出ルール。 |
|
|
スクリーンショット
|
screenshot | boolean |
要求された Web サイトのスクリーンショットを撮ります。 |
|
|
スクリーンショット セレクター
|
screenshot_selector | string |
特定の CSS セレクターのスクリーンショットを撮ります。 |
|
|
スクリーンショットのフル ページ
|
screenshot_full_page | boolean |
Web サイト全体のスクリーンショットを撮ります。 |
|
|
ページ ソースを返す
|
return_page_source | boolean |
ページ ソースも返します。 |
|
|
セッション ID
|
session_id | integer |
同じ session_id を使用するすべての API 要求は、同じ IP アドレスを介して 5 分間ルーティングされます。 |
|
|
Timeout
|
timeout | integer |
1000 から 140000 (既定) までのミリ秒タイムアウトの最大値。 |
|
|
クッキー
|
cookies | string |
Web サイトに渡すカスタム Cookie。 |
|
|
機器
|
device | string |
サーバーに送信されるデバイスの種類。 |
|
|
カスタム Google
|
custom_google | boolean |
Google または Google サブドメインで Web ページをスクレイピングする場合は true に設定します。 |
戻り値
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
Body
|
body | string |
ボディ。 |
|
クッキー
|
cookies | array of object | |
|
件名
|
cookies.name | string |
名前。 |
|
価値
|
cookies.value | string |
値。 |
|
Domain
|
cookies.domain | string |
ドメイン。 |
|
Path
|
cookies.path | string |
パス。 |
|
Expires
|
cookies.expires | float |
有効期限。 |
|
規模
|
cookies.size | integer |
サイズ。 |
|
HTTP のみ
|
cookies.httpOnly | boolean |
HTTP のみかどうか。 |
|
Secure
|
cookies.secure | boolean |
安全かどうか。 |
|
Session
|
cookies.session | boolean |
セッションかどうか。 |
|
同じパーティー
|
cookies.sameParty | boolean |
同じパーティーかどうか。 |
|
ソース スキーム
|
cookies.sourceScheme | string |
ソース スキーム。 |
|
ソース ポート
|
cookies.sourcePort | integer |
ソース ポート。 |
|
評価結果
|
evaluate_results | array of string |
評価結果。 |
|
年齢
|
headers.age | string |
年齢。 |
|
キャッシュ コントロール
|
headers.cache-control | string |
キャッシュ コントロール。 |
|
コンテンツ エンコード
|
headers.content-encoding | string |
コンテンツ エンコード。 |
|
コンテンツ セキュリティ ポリシー
|
headers.content-security-policy | string |
コンテンツ セキュリティ ポリシー。 |
|
Content Type
|
headers.content-type | string |
コンテンツ タイプ。 |
|
日
|
headers.date | string |
日付。 |
|
ETag
|
headers.etag | string |
eTag。 |
|
参照元ポリシー
|
headers.referrer-policy | string |
参照元ポリシー。 |
|
サーバー
|
headers.server | string |
サーバー。 |
|
厳格なトランスポート セキュリティ
|
headers.strict-transport-security | string |
厳格なトランスポート セキュリティ。 |
|
X コンテンツ タイプ オプション
|
headers.x-content-type-options | string |
X コンテンツ タイプ オプション。 |
|
X フレーム オプション
|
headers.x-frame-options | string |
X フレーム オプション。 |
|
X に一致したパス
|
headers.x-matched-path | string |
X に一致したパス。 |
|
X Powered By
|
headers.x-powered-by | string |
X Powered By。 |
|
X Vercel キャッシュ
|
headers.x-vercel-cache | string |
X Vercel キャッシュ。 |
|
X Vercel ID
|
headers.x-vercel-id | string |
X Vercel 識別子。 |
|
タイプ
|
type | string |
種類。 |
|
IFrame
|
iframes | array of string |
iFrame。 |
|
XHR
|
xhr | array of object | |
|
[URL]
|
xhr.url | string |
URL アドレス。 |
|
状態コード
|
xhr.status_code | integer |
状態コード。 |
|
メソッド
|
xhr.method | string |
方法。 |
|
年齢
|
xhr.headers.age | string |
年齢。 |
|
キャッシュ コントロール
|
xhr.headers.cache-control | string |
キャッシュ コントロール。 |
|
コンテンツの長さ
|
xhr.headers.content-length | string |
コンテンツの長さ。 |
|
コンテンツ セキュリティ ポリシー
|
xhr.headers.content-security-policy | string |
コンテンツ セキュリティ ポリシー。 |
|
Content Type
|
xhr.headers.content-type | string |
コンテンツ タイプ。 |
|
日
|
xhr.headers.date | string |
日付。 |
|
ETag
|
xhr.headers.etag | string |
eTag。 |
|
参照元ポリシー
|
xhr.headers.referrer-policy | string |
参照元ポリシー。 |
|
サーバー
|
xhr.headers.server | string |
サーバー。 |
|
厳格なトランスポート セキュリティ
|
xhr.headers.strict-transport-security | string |
厳格なトランスポート セキュリティ。 |
|
X コンテンツ タイプ オプション
|
xhr.headers.x-content-type-options | string |
X コンテンツ タイプ オプション。 |
|
X フレーム オプション
|
xhr.headers.x-frame-options | string |
X フレーム オプション。 |
|
X に一致したパス
|
xhr.headers.x-matched-path | string |
X に一致したパス。 |
|
X Vercel キャッシュ
|
xhr.headers.x-vercel-cache | string |
X Vercel キャッシュ。 |
|
X Vercel ID
|
xhr.headers.x-vercel-id | string |
X Vercel 識別子。 |
|
Access Control Allow Origin
|
xhr.headers.access-control-allow-origin | string |
Access Control Allow Origin。 |
|
Access Control Expose Headers
|
xhr.headers.access-control-expose-headers | string |
Access Control Expose Headers。 |
|
Alt SVC
|
xhr.headers.alt-svc | string |
Alt SVC。 |
|
差異
|
xhr.headers.vary | string |
差異。 |
|
を介して
|
xhr.headers.via | string |
経由。 |
|
X Envoy アップストリーム サービス時間
|
xhr.headers.x-envoy-upstream-service-time | string |
X Envoy アップストリーム サービス時間。 |
|
X Amazon 要求 ID
|
xhr.headers.x-amzn-requestid | string |
X Amazon 要求識別子。 |
|
X Amazon トレース ID
|
xhr.headers.x-amzn-trace-id | string |
X Amazon トレース識別子。 |
|
Body
|
xhr.body | string |
ボディ。 |
|
Cost
|
cost | integer |
コスト。 |
|
初期ステータス コード
|
initial-status-code | integer |
初期ステータス コード。 |
|
解決済み URL
|
resolved-url | string |
解決済み URL アドレス |
|
マイクロデータ
|
metadata.microdata | array of string |
マイクロデータ。 |
|
JSON LD
|
metadata.json-ld | array of object | |
|
Context
|
metadata.json-ld.@context | string |
コンテンツ。 |
|
タイプ
|
metadata.json-ld.@type | string |
種類。 |
|
件名
|
metadata.json-ld.name | string |
名前。 |
|
[URL]
|
metadata.json-ld.url | string |
URL アドレス。 |
|
Description
|
metadata.json-ld.description | string |
説明設定。 |
|
タイプ
|
metadata.json-ld.mainEntityOfPage.@type | string |
種類。 |
|
[URL]
|
metadata.json-ld.mainEntityOfPage.url | string |
URL アドレス。 |
|
タイプ
|
metadata.json-ld.image.@type | string |
種類。 |
|
[URL]
|
metadata.json-ld.image.url | string |
URL アドレス。 |
|
タイプ
|
metadata.json-ld.publisher.@type | string |
種類。 |
|
件名
|
metadata.json-ld.publisher.name | string |
名前。 |
|
[URL]
|
metadata.json-ld.publisher.url | string |
URL アドレス。 |
|
同様
|
metadata.json-ld.sameAs | string |
同様。 |
|
グラフを開く
|
metadata.opengraph | array of object | |
|
グラフのタイトルを開く
|
metadata.opengraph.og:title | string |
グラフのタイトルを開く。 |
|
グラフを開くの説明
|
metadata.opengraph.og:description | string |
グラフを開くの説明。 |
|
グラフを開くのサイト名
|
metadata.opengraph.og:site_name | string |
グラフを開くのサイト名。 |
|
グラフを開くの URL
|
metadata.opengraph.og:url | string |
グラフを開くの URL アドレス。 |
|
グラフを開くの画像
|
metadata.opengraph.og:image | string |
グラフを開くの画像。 |
|
タイプ
|
metadata.opengraph.@type | string |
種類。 |
|
OG
|
metadata.opengraph.@context.og | string |
グラフを開く。 |
|
ダブリンコア
|
metadata.dublincore | array of object | |
|
要素
|
metadata.dublincore.elements | array of object | |
|
件名
|
metadata.dublincore.elements.name | string |
名前。 |
|
コンテンツ
|
metadata.dublincore.elements.content | string |
コンテンツ。 |
|
URI
|
metadata.dublincore.elements.URI | string |
URI。 |
|
条件
|
metadata.dublincore.terms | array of string |
条件。 |
使用状況を取得する
クレジット消費と同時実行の使用に関する情報を取得します。
戻り値
| 名前 | パス | 型 | 説明 |
|---|---|---|---|
|
最大 API クレジット
|
max_api_credit | integer |
最大 API クレジット。 |
|
使用済み API クレジット
|
used_api_credit | integer |
使用済み API クレジット。 |
|
最大同時実行
|
max_concurrency | integer |
最大同時実行。 |
|
現在の同時実行数
|
current_concurrency | integer |
現在の同時実行数。 |
|
サブスクリプションの更新日付
|
renewal_subscription_date | string |
サブスクリプションの更新日付。 |