[暴満館] 2007年11月のエントリ

Home / Diary / 2007年11月のログ

12 ►

Pragger用プラグインを公開
LivedoorReaderがフィードを取得してくれない件
RSSの不具合を修正
Pragger始めた
キングスフィールド3 リアルタイムアタック
続・ニコニコ動画視聴補助スクリプト for Opera

Pragger用プラグインを公開

Praggerの動作やらRuby自体に苦戦しつつも、そこそこプラグインを書けるようになってきたので公開。

Pragger用プラグイン

ニッチなプラグインばかりだが、暇を見てちょくちょく増やそうと思う。

とりあえずこしらえたのが下記4本。

mixiの指定ユーザーの最新日記一覧を取得する: 最初はマイミクシィだけにしようとしてたが、どうせならID列挙して一括取得でよくね？　ということになった。外部ブログには非対応っつーか、そっちのフィードを登録しなさい。
ニコニコ動画の検索から新着を取得する: 作者かファンがアップされ次第マイリストに登録するなら、そちらを利用すればいいが、そうでない場合は律儀に検索する必要があるので作成した。
音泉から各番組の放送を取得する: 更新チェックして開くのが面倒になってきたんで、asxファイルへのリンクを付けてRSS化。
アニメイトTV Webラジオから各番組の放送を取得: 上と同じ。各話内容をdescriptionに入れようとしたが、どうもHTMLを手書きで作成しているようで、一部タグが抜けていたり、他番組のタイトルがコメントに残ってたりと非常にカオスだったので断念。ぱにらじ二期まだー？

大体のコツを掴めたので、次はRSS非対応サイトからRSSを作ることにする。

Info

投稿日: 2007年11月30日
タグ: ruby
このエントリの固定リンク: http://diary/log/1574.html
ブックマークに追加する
コメント: コメントを投稿する

2007
1130

Tagsruby

⇧

LivedoorReaderがフィードを取得してくれない件

前回の続きというか続報。RSSを修正したところ、FeedBurnerのエラーは発生しなくなった。そしてFastladderが取りに来てくれるようになったが、LivedoorReaderがまだだ。

FeedBurnerのUAに「livedoor HttpClient/0.1」が残ってるということは、一応毎日確認しに来てるっぽいのだが、そのままお帰りに。なぜだ。

とりあえずFeedBurner側での最適化を全てキャンセルした上でオリジナルとFeedBurner側のRSSがValidになっていることを確認。これでもダメならどうしよう。

追記

問い合わせたら深夜にもかかわらず1時間くらいで反映された。対応早っ。どうもありがとうございます。

Info

投稿日: 2007年11月21日
タグ: site
このエントリの固定リンク: http://diary/log/1571.html
ブックマークに追加する
コメント: コメントを投稿する

2007
1121

Tagssite

⇧

RSSの不具合を修正

GoogleReaderで文字化けするという苦情を頂いたので原因を調査。

どうやらGoogleReaderはEUC-JPがダメっぽい？　ためしにそのままUTF-8にしたら化けなかった。

FeedBurnerを見てみたら、こちらから取得したRSSをそのまま返してた。以前はスタイルシートを挟みつついろいろ追加してくれてた記憶があるんだが、アレやめたのか。

それまではFeedBurder側でUTF-8にしてくれていたが、やめたおかげでEUC-JPのものがそのまま表示され、GoogleReaderでエラーで化けた、と。こういうこと？

ってゆーか、エンコードをちゃんと明記してそのとおりにエンコードしてりゃあなんでもいいと思ったんだが、Google的には違うのか。

というわけで、こちら側でUTF-8にしたものをFeedBurnerに渡すようにしたんで多分大丈夫なはず。どっかでエラーが出るようなら指摘してください。

追記

FeebBurnerの購読数がエラい減ってる件。どうやらLivedoorReaderからのリファラが無いようだ。こちらの更新間隔が長くなったからRSS取りに来る間隔が長くなったんだな・・・

・・・って、なんかゴッソリ落ちてる。レポートを見てみると9月22日を最後に、23日以降は一切LivedoorReaderから来てないようだ。一体なぜ？

再びFeedBurnerのフィード・メディックを見てみると、エラーが列記されてた。こっちが直ればLDRも来てくれるような気がしないでもないのでとりあえず様子見。

Info

投稿日: 2007年11月18日
タグ: site
このエントリの固定リンク: http://diary/log/1569.html
ブックマークに追加する
コメント: コメントを投稿する

2007
1118

Tagssite

⇧

Pragger始めた

Rubyの勉強も兼ねてPraggerを弄ることにした。

インストール

PRagger - Tracにある通り、SubversionをインストールしてPraggerをチェックアウト。ActiveRubyも入れて動作確認。が、動かない。なぜだ！？

Rubyのライブラリコードを追うなど、試行錯誤を繰り返したが動作せず、結局ActiveRuby入れなおしたら何事も無かったかのように動いた。所要時間3時間。疲れた。

RSSを置いてないページからRSSを作る

PluginList - PRaggerまとめサイト　それPraを参考にしてyamlを記述していく。

custom_feedというプラグインを使えば良いいようだ。

captureに記事の繰り返しを含む部分を取得する正規表現を記述。
splitに、記事と記事を分けるための正規表現を記述。
記事として分割された部分からtitleとlinkとして抜き出すための正規表現を記述。
最後にRSS::saveで保存する。

yamlはこのような感じになった。

- module: Feed::custom_feed
  config:
    url: http://www.insertcredit.com/
    capture: <!-- Begin news segments -->(.*?)<!-- Begin sidebar segments -->
    split: ^\s<table border="0" cellspacing="0" cellpadding="2" width="590">(.*?)</table>\s*?</table>\s*?<br>
    title: <p id="title" align="left">(.*?)<
    date: <p id="date">(.*?)</td>
    link: <a href="http://www\.insertcredit\.com/(archives/\d+\.html)"><font color="#EEEEEE">\[p\]</font>
- module: RSS::save
  config:
    title: insert credit
    about: http://www.insertcredit.com/
    description: insert credit
    link: http://www.insertcredit.com/
    filename: insertcredit.rdf

praggerを実行すると見事にrdfファイルが作成された。ちゃんとタイトルとリンクが入ってる。

custom_feedが使いづらい

まず、linkに無駄な#が入る。普通は抽出ページからの相対パスだろうから、#が必要になるとは思えない。

次にdescription。splitで分割した後のものがそのまま入るので、すごい中途半端なHTMLタグが混入して美しくない。

そこでcustom_feedを改造することにした。

custom_feedを改造

plugin/feed/custom_feed.rbをplugin/myplugin/とでもフォルダを作成してコピー。以後、コピー先を弄る。

まずはlinkの調整。#を追加しないようにする。

mylink = config['url'] ? (config['url'] + '#' + $1) : $1 
↓
mylink = config['url'] ? (config['url'] + $1) : $1

次にdescriptionで本文っぽいのを取らせたいので

  if(config['description'])
    description = Regexp.new(config['description'])
    items.each do|i|
      if i =~ description
        mydescription = $1
        i.instance_eval do 
          @description = mydescription
          def description
            @description
          end
        end
      end
    end
  end

  return items
end

ソースファイルの最後をこのような感じにする。title取得部分をコピペしてdescriptionにしただけだが。

最後にプラグイン名が同じだとアレなのでファイル名をcustom_custom_feed.rbにしてメソッド名も同様に変える。で、yamlも書き換えて完成。

- module: myplugin::custom_custom_feed
  config:
    url: http://www.insertcredit.com/
    capture: <!-- Begin news segments -->(.*?)<!-- Begin sidebar segments -->
    split: ^\s<table border="0" cellspacing="0" cellpadding="2" width="590">(.*?)</table>\s*?</table>\s*?<br>
    title: <p id="title" align="left">(.*?)<
    date: <p id="date">(.*?)</td>
    link: <a href="http://www\.insertcredit\.com/(archives/\d+\.html)"><font color="#EEEEEE">\[p\]</font>
    description: <p id="text"><font color="#EEEEEE">([\s\S]*?)</font></p>
- module: RSS::save
  config:
    title: insert credit
    about: http://www.insertcredit.com/
    description: insert credit
    link: http://www.insertcredit.com/
    filename: insertcredit.rdf

無事に本文の抽出に成功。んむ、美しい。出来上がったRSSはこんなかんじ。

insertcredit.rdf