mirror of
https://github.com/tldr-pages/tldr.git
synced 2025-04-29 23:24:55 +02:00
5c26174aa9
* pages/*: update links and more info link script Signed-off-by: K.B.Dharun Krishna <kbdharunkrishna@gmail.com> * cleanup: reformat code * ax-webapp: fix link * curl: fix false positive Co-authored-by: Sebastiaan Speck <12570668+sebastiaanspeck@users.noreply.github.com> --------- Signed-off-by: K.B.Dharun Krishna <kbdharunkrishna@gmail.com> Co-authored-by: Sebastiaan Speck <12570668+sebastiaanspeck@users.noreply.github.com>
32 lines
1.1 KiB
Markdown
32 lines
1.1 KiB
Markdown
# scrapy
|
|
|
|
> ウェブクローリングのフレームワークです。
|
|
> 詳しくはこちら: <https://scrapy.org>
|
|
|
|
- プロジェクトを作成する:
|
|
|
|
`scrapy startproject {{プロジェクト名}}`
|
|
|
|
- スパイダーを作成する (プロジェクトのディレクトリ内での実行):
|
|
|
|
`scrapy genspider {{スパイダー名}} {{ウェブサイトのドメイン名}}`
|
|
|
|
- スパイダーを編集する (プロジェクトのディレクトリ内での実行):
|
|
|
|
`scrapy edit {{スパイダー名}}`
|
|
|
|
- スパイダーを実行する (プロジェクトのディレクトリ内での実行):
|
|
|
|
`scrapy crawl {{スパイダー名}}`
|
|
|
|
- Scrapyが見るようにWebページを取得しソースを`stdout`(標準出力)に表示する:
|
|
|
|
`scrapy fetch {{url}}`
|
|
|
|
- Scrapyが見ているようにデフォルトブラウザ内でウェブページを開く(より応答に忠実であるようにするためにJavaScriptを無効化している):
|
|
|
|
`scrapy view {{url}}`
|
|
|
|
- URL用のScrapyシェルを開き、Python(もしくは可能であればIPython)シェル内でページソースとの対話式でのやり取りを可能にする:
|
|
|
|
`scrapy shell {{url}}`
|