パソコン鳥のブログ

アクセスカウンタ

zoom RSS Perlで指定したURLのHTMLを取得

<<   作成日時 : 2013/08/20 23:45   >>

トラックバック 1 / コメント 0

Perlで指定したURLのHTMLを取得するサンプルです。

以下のモジュールを使用します。無い場合はCPANからインストールしてください。
utf8
Encode
LWP::UserAgent/a>
HTTP::Request
HTTP::Response
HTTP::Response
Encode::Guess

root権が無い場合などのように、システムにインストールできない場合は、perlモジュールをローカルにインストールして利用する方法を参照して下さい。
例えば、自分のホームディレクトリ下にモジュールをインストールできます。

指定したURLのHTMLを取得するサンプル

use utf8;
use Encode;

use LWP::UserAgent;
use HTTP::Request;
use HTTP::Response;
use Encode::Guess;


$body = GetContents( "取得したいページのURL" );
print $body;

sub GetContents {

    my $url = $_[0];

    my $proxy = new LWP::UserAgent;
    my $req = HTTP::Request->new('GET' => $url);
    my $res = $proxy->request($req);
    my $str = $res->content;
    my $enc = guess_encoding($str, qw/euc-jp shiftjis 7bit-jis utf8 iso-2022-jp iso-2022-jp-1/);
    unless(ref $enc){
        $str = decode("shiftjis", $str);
    }else{
        $str = decode( $enc->name , $str );
    }

    return $str;
}

テーマ

関連テーマ 一覧


月別リンク

トラックバック(1件)

タイトル (本文) ブログ名/日時
Perlで指定したURLのHTMLを取得(プロキシ対応版)
先日紹介した Perlで指定したURLのHTMLを取得するサンプル のプロキシ対応版です。 認証付きプロキシを使用する場合は、サンプル中のコメント行をコメントアウトして下さい。 ...続きを見る
パソコン鳥のブログ
2013/08/24 14:07

トラックバック用URL help


自分のブログにトラックバック記事作成(会員用) help

タイトル
本 文

コメント(0件)

内 容 ニックネーム/日時

コメントする help

ニックネーム
本 文
Perlで指定したURLのHTMLを取得 パソコン鳥のブログ/BIGLOBEウェブリブログ
文字サイズ:       閉じる