アーカイブ

‘スクレイピング’ タグのついている投稿

楽天日記→WordPress移行

2009 年 3 月 10 日 コメント 2 件

楽天日記のブログを、WordPressへ移行しました。

私が先月までブログを書いておりました楽天日記から、コンテンツをダウンロードして、そしてこのブログにアップロードしました。いっきに、コンテンツが1600も増えました
(^0^)

同じ内容の複製なので、、、あまり意味がないかもしれませんけれど。

楽天日記バックアップというソフトを使って、ダウンロードしました。
そして、アップロードは以下のプログラムを使って実行したんです。
WordPressの環境に依存する部分を残しているのでそのまま使えるわけではないのですが、少し修正すれば動くと思います。

画像を貼り付けたり、リンクを変えたりはできていません。
(楽天サイトから画像が消えたら、アウトです)
またコメントやトラックバックも追加していません。

まあとりあえず、スクレイピングを利用して移行したということで大きな目標がクリアできました。

下記のプログラムは、XML-RPCに対応しているブログならば実行できると思いますので、WordPress以外にMovableTypeやブログサイトへも移行可能だと思います。

require 'time'
require 'xmlrpc/client'
require 'kconv'

user = 'wordpressのユーザー名'
password = 'wordpressのパスワード'
publish = 1 # 下書きの場合は0

# WordPressのURLに依存します
server = XMLRPC::Client.new('blog.shockby.com', '/xmlrpc.php')

# カテゴリーを設定する場合、IDはWordPressの環境に依存します
# category = [{"categoryId"=>"25"}]

# 私の楽天ブログバックアップソフトの設定
filelist = Dir::glob("solis/*.txt")

filelist.each do |filename|
  open(filename) do |f|
    title = f.gets.sub(/TITLE: /, '').chomp.toutf8
    date =  Time.parse(f.gets.sub(/DATE: /, '').chomp)
    category2 =  f.gets.sub(/CATEGORY: /, '').chomp.toutf8
    description = f.read.toutf8
    f.close

    struct = {
      'title' => title,
      'description' => description,
      'dateCreated' => date
    }



      id = server.call("metaWeblog.newPost", 1, user, password, struct, publish)

      puts "Post ID: #{id}"

      # カテゴリーを設定する場合
      # res = server.call("mt.setPostCategories", id , user, password, category)
      # puts res

  end


end

楽天日記バックアップ ver 0.8

2009 年 3 月 4 日 コメントはありません

楽天日記 バックアップソフト Ver 0.8をリリースしました。

プログラムの中身の修正はほとんどバグFixですが、使いやすいのを目指して画面を大きく変えました。

修正点:

  • 保存場所を設定できるようにしました
  • 保存した文書に、タイトル、記入日、カテゴリーを追加するようにしました
    TITLE: 【本】クレームはチャンスだ!
    DATE: 2005.04.25 10:22:16
    CATEGORY: 本
    本文
  • Webにアクセスできないときも、何度かトライします

使い方:
1. 以下のリンクを保存して、解凍してください。
https://sites.google.com/a/shockby.com/software/rakutenblogbackup/rakuten_backup.zip?attredirects=0

2. rakuten_backup.zipを解凍して、rakuten_backup.exeを実行してください。

3. URLにあるブログの名前を入れます。

4. 保存先を指定します。 […]をクリックしてフォルダを選ぶか、保存先に直接フォルダ名を入れてください。
(一番下の階層のフォルダは自動作成しますが、存在しないフォルダを作成しても左記へ進めません)

5. もしオプションの設定があれば、オプションボタンをクリックしてオブションを設定します。

6. 実行ボタンを押します。

つれづれなるままに

2009 年 2 月 26 日 コメントはありません

すみません、つまらない話です。

先週は、Ruby on Railsをベースにスクレイピングの仕事をしていた。

今週は、パワーポイントの資料と見積もりの仕事。

とりあえずまた一人で仕事をし始めたが、1月からの営業活動はぜーんぶ空振りに終わった。んっ、どうしよう。私も大変だが、お客さんももっと大変だ。

それでも、声をかけてくれる人がいる。こんな私に仕事の話をしてくれるのは、とてもありがたく思います。自分のセールスポイントをまとめるために、パワーポイントの資料を何度も作り直し、いただいた資料を下調べをして見積もりを出させていただきました。

一人でやっているとだんだんと落ち込んでくるので、声をかけてくれるだけでありがとうございます。とはいえ、1、2月は仕事ないなぁ。

新聞やテレビの毎日の不況報道を見ていると、俺は大丈夫かしら?という気になってしまう。年は40前半だし、仕事はないし、フリーターだし、家族を抱えているし、、、、悪条件ばっかりじゃん。

某社の面接試験でJavaのオブジェクト指向についての問題があって、それを解こうとしたら言葉が半分くらいわからない。落胆してしまった。とうとうコンピューター技術もだめかと。

でも答えを見たら、表現が違うだけで考えていることとあまり違わない。まだまだいけるかもという気になっていた。(デザインパターンというから、共通言語が大事だよと言われたら終わりかも)

いきあたりばったりの受託開発をしていても、数年から10年後は必ず行き詰まる。だから、そうはならないように今からできることを先手を打っていないといけない。先手を打たないと、自由はなくなる。仕事の選択肢や居住の自由がなくなるのだ。

いま若い人が派遣で悩んでいる人に聞きたい。
先手を打っていたのか?先手を打ったのだけれど、全部後手に回ってしまったのか?

何かをしようと思うと、ある程度の我慢はしないといけない。
酒、タバコ、女、ギャンブル、車、物欲、目先の楽しみを少し抑えておかないと、それらに振り回されて自由がなくなる。

ましてやこの不況が終わっても、製造業の派遣の仕事は戻ってくることはないかもしれないといううわさを聞く。あれだけ製造業がマスコミなどに叩かれては、製造業も派遣従業員を雇うことが難しくなる。ただでさえ人件費の高い日本で工場を維持することが難しくなり、中国や東南アジアに進出の拍車がかかってしまうそうである。

IT業界はほぼ完璧にグローバル化しており、製造業もそうなっている。アジアと日本の賃金差は限りなく0に近づいていく。日本の従業員は月給10万円を切るところまでいかざるを得ないのではないだろうか。フィリピンでは月給10万円は部長クラス、大卒で2~3万円、地方にいたっては1万円ぐらいである。

その中で、お金を得ることができる場合は、特殊な能力を持ち他の会社(人)にはできないところは値段の決定権を持つから維持できる。あるいは消費者のそばにいて利便性を追求するところしかない。消費者にとっての特殊な能力といえるかもしれない。

そう考えて以下の2つのことに注目してやろうと思っているし、それ以外では付加価値を見出すことが難しい気がする。

  • 仕事の特殊性を追及すること
  • 消費者(ユーザー)とITを使うことで利益を得る手助けをすること

誰でもどこにでもある仕事は価値がないし、お客さんがITを使って利益を得ることができなければITそれ自身に価値がない。

IT業界でも、日本語という特殊性、日本の仕事の進め方や独自性が、これまで唯一の障壁であったが、周りの環境がグローバル化しつつあるので、その独自性がどこまで訴求力があるのか。

世界人口の1/5が話す中国語、世界の資産の1/2が話す英語の方が価値があり、中国人やインド人の方が日本語しか話せない日本人より上に立つ時代も遠くないのかもしれない。

まだ生きているぞ。生きているうちはまだまだやれる。