2013年4月30日火曜日

僕歪黄金号〜4月は仕事で殆どコード書いてないプログラマがちょっと通りますよ

新年度も早1ヶ月、通勤退勤電車で初々しさ漂う者たちを見かける季節、社会人としてのマナーをまだよく分かってないそんな彼・彼女らによるGメン歩きに出くわしてイラっとする事が多めな季節、そんな彼・彼女らの実技訓練を行っているためか有楽町線の運転何か荒くね?と感じる季節ですね!え?そう感じるのは僕だけですかそうですか。

「自由時間を最大化したければ、自由時間使って勉強しろ」

上記は僕の下に新人プログラマがついたら言おう思ってる台詞。まあ今のところ言う機会は一度も巡ってきてませんが。

時間は有限。よって勉強に時間を使えば、当然それ以外の時間は減る。だけど、勉強することで仕事を効率的にこなせるようになれば、勉強に費やした時間なんてあっちゅーまに元とれるよ、と。

え?時間は勉強よりも家族サービスに使いたい?
勉強することで、いつ会社が潰れてもすぐ仕事見つけられるくらいの力をつけておき、家族を安心させておくこと、それが一番の家族サービスでは?支える土台が無い状態でいくら時間が確保できたところでねぇ…
まあ新入社員で家族抱えてる人はそんなにいないでしょうが。

え?仕事早く終わらせても他人の尻ぬぐいさせられるって?
まずは尻ぬぐいした分がちゃんと評価に反映されるか確認しましょう。何もなかったり全然割に合わなかったりしたらさっさと辞めちまえそんな会社。

え?別に程々に生活できればいいしーだって?
程々の生活おくるのにも割と努力しなけりゃならない時代ですよこれからは。

リストラ処女喪失(周りが)

世の中的には年度ではなく「年」の節目に目標立てたりふりかえりしたりするのが一般的なようですが、3月終了4月開始の文化を鑑みると「年度」の節目に行う方がいいと思うのは僕だけでしょうか。年末年始なんてまだとにかく寒いからすぐ挫けそうになるし(「早起き」やアウトドア系の目標なんて特に)、花粉症だと2月3月でまた挫けそうになるし、年度末に異動・転勤とかで環境がらっと変わる可能性あるし(「新入社員」なんてまさにそうだし)。

とまあそういう価値観っていうのと、昨年12月に歯列矯正始めてしばらくは碌に食事摂れずフラフラだから運動できず心肺機能低下してメガネ曇り防止マスクしているのに風呂場のごたるって状態が、3月上旬あたりにやっと奥歯のセメント外れてそれなりに物噛みちぎれるようになって体力戻ってきてよし4月から本気出すってことで、いろいろ目標考えていたんですけど、3月の最終営業日…勤めている会社で業績不振による大リストラ発表。技術職は何と僕一人を除いて全員クビ!It's an ありがた迷惑。

そんな訳で、孤独なエンジニアライフを送っております。エントリ前半でも触れた勉強だけど、人に教えて貰うのが一番手っ取り早いんですよね。IT業界は勉強しなきゃいけない事がとても多いから、一人で網羅するなんて不可能。自分の興味がある分野だけ重点的に勉強して、他の人と知識を補い合うのが効率的なわけです。それが(社内では)できなくなった訳で、仕事の非効率化は必至。

それと、自分はアプリケーションレイヤー人間なんですけど、専任のインフラエンジニアもクビになったからインフラ周りの仕事も捌かにゃならず、今月はインフラ資産の棚卸し、社内システム・ハードウェアの選択と集中、ドメインレンサバVPSの更新催促メール対応といった仕事ばっかで殆どコード書いてません。まあルーターいじったりデータセンター行ってRAID組んで監視ツールいれたりってのはいい経験だったけど。とはいうものの、実ハードウェアでRAID組むなんてクラウド時代にどれほどの価値があるのだろうか、クラウドならこんなわざわざデータセンター借りて赴いて手間かけて設定する必要ないよなーなんて思って虚しくなったり。ああそうだ、技術者は俺一人になったことだし、興味と実益を兼ねて社内システムのAWS化を目論んでやろうか。

せめてこれが一時的なものならまだ頑張れるのだが…おそらく恒久的。業績が急回復すれば増員に動くだろうけど、まあ無理だろうな…ちなみに会社のメイン事業はSEOですよSEO。しかもオワコンである被リンク系がメインの。Googleに勝てるわけがない。せめて(エンジニアではなくとも)優秀な人がいれば、その人から学べるものはあるだろうからまだやり甲斐あるだろうけど、僕からみてもDQNでとにかくITリテラシー低く…もうメールとExcel「だけ」で仕事するのイヤ!

平日は週末が恋しくなり、週末の末である日曜夜はブルーになり、ストレスで血便排出…こんなの、新卒で入社した親方日の丸系SIerでイラついてた時以来だ。


2013年3月3日日曜日

[CakePHP]アラビア語はSQLまでも右から左へ受け流す 他

アラビア語をINSERTしたSQL文をブラウザで見るとカラムと値の並びが逆だった

仕事でアラビア語を登録するSQLを実行する機会がありました。
アラビア語を登録するテーブルの構造は以下のような構造。

Field
id
word
delete_flag
created
modified

"word"列にアラビア語がセットされるのですけど、INSERT文をCakePHPにて実行し、Cakeが出力するSQLデバッグを確認したところ・・・



カラムと値の対応が逆になってました。でもテーブル確認するとちゃんと正常にデータ登録されてました。てかブラウザのページソース確認してみると、カラムと値の並びはちゃんと揃ってました。
ちなみに上記テーブルをCSV出力してWindowsのEmEditorで開いた時も並びは逆になってました。

アラビア語といえば右から左へ綴る言語ってことで、ブラウザとかエディタが表示制御してるんでしょうね。SQLに限らず、左から右へと綴る言語とアラビア語を混在させた文章がどう表示されるかいろいろ試してみたいな。ま、それをやって特に得るものはないから優先度超低だけど。

アラビア語の文字コードとかのメモ殴り書き

携わってる仕事は別にグローバルでは無いんですけどね。
  • ISO-8859-6, windows-1256 : アラビア語
  • GB2312 : 中国語
  • EUC-KR : 韓国語
    ※mb_detect_orderで「EUC-JP」の後に定義してると「EUC-JP」と検出されてしまった。
    「EUC-JP」の前に定義すると今度は「EUC-JP」が「EUC-KR」と検出。
    つまりどちらの言語も先に出現する方のエンコーディングとして検出されるっぽい
  • タイ語はUTF-8
グローバル展開するならMySQLのエンコーディングはutf8ではなくutf8mb4を使うべき
【デブサミ2012】16-A-6 レポート グリーに学ぶ、グローバル展開の最新事情 (2/2):CodeZine

CakePHPではMySQLのTINYINT型はboolean型扱いとなる

データの種類や区分を表すのに整数値割り当てて使うってのはまあ当たり前の話ですが・・・
この区分値を格納するカラムの型をTINYINT(1)にし、Modelでこの区分値の条件指定して検索かけたところ、いろいろと意図してない結果が発生しました。
  • 検索条件に2以上の値を指定しても=1のデータが返ってきた
  • 値が0のデータの検索結果をダンプすると、カラムの値は0ではなくbool(false)となっていた
    →PHPで判定条件を「=== 0」と厳密判定にしてたら大変だね
どうも「0とそれ以外」の2種類しか認識されない、つまりboolean扱いされているっぽい。
app/tmp/cache/models配下にあるモデルキャッシュを確認してみたところ、問題のカラムの型は確かにboolean型になってました。
・・・
s:10:"kbn_column";a:4:{s:4:"type";s:7:"boolean";・・・
・・・

Cakeの仕様なんでしょうね。僕全然知らなかったのですけど、これって知ってなきゃ恥ずかしいレベル?

まあとにかく、0と1以外の値を持ちうる場合はCHAR(1)にしときましょう。


2013年2月4日月曜日

Cloudera Managerを利用してHadoopインストール試みたが最後にエラー

PCとネットワーク環境さえあれば開発環境を構築できる時代ですが、それでも敷居が高いのがビッグデータ系環境。並列分散処理を本格的に検証するならハードが複数必要だし、VM使って擬似分散環境を構築する場合は(VM載せるマシンに)ある程度のスペックが要求される。SSDとはいえメモリ4G、ブラウザでちょっとタブを多めに開いたり大容量ファイルコピーするだけでファンフル回転するMacbookAirでは厳しいな・・・というのを言い訳に後回しにしてきたけど、いい加減そろそろ手を出さないとなと思ってたところにCloudera Managerという環境構築ツールの存在を知り、ちょっと手を出してみました。

しかし結果は・・・当エントリのタイトルが物語っているとおり、最後の最後のサービス起動でエラー発生してインストール処理全ロールバックという結果となりました・・・。詳細は後述しますが、どうもサービス起動時のタイムアウトっぽい。Hadoopのインストール先が外付けハードディスクに置いたVMで、かつ先に述べたとおりマシンスペックが低いとは言え・・・レスポンス時間の要件厳しすぎやしませんかClouderaさん。

ということでHadoop動かすところまではいきませんでしたが、環境構築の流れは確認できたのでメモメモ。

試した環境

  • CentOS 6.3
  • Cloudera Manager 4.1.3
日本語サイトの紹介ページには
「インストール・ノード、コンポーネントの選択や、インストール後のセットアップを含めてたったの4分程度でクラスタを構築することができます。」
とありますが(上記ページ内の動画では5分)、僕の環境ではインストール処理開始までは確かに数分でしたが、実際のインストールには1時間以上待たされました。まあこれもマシンスペックの問題かもしれません。

Cloudera Manager インストールマシンでの事前準備

SELinuxを一旦無効に
無効にしないとCloudera Managerのインストーラに怒られて先へ進めません(Permissiveでもダメでした)。
# vim /etc/sysconfig/selinux
--
SELINUX=disabled
--
# reboot
scpコマンドインストール
Cloudera Managerは各ホストにHadoopインストールする際、インストール対象ホストへインストールファイルをコピーするのに内部でscpを使ってます。
# yum install openssh-clients

ちなみにJDKも必要なんですけど、無ければCloudera Managerと一緒にインストールしてくれます(本家Oracleの6系ですけど)。

Cloudera Manager インストール

ドキュメント
ダウンロード
以下ページから辿ります。
ユーザー情報登録を求められますが、日本語サイトの紹介ページの動画で「(ユーザー情報)登録してくれたらうれしいです」と述べてる通り、入力はしなくてもダウンロード可能。入力画面下部の"I'd rather not fill in the form..."といったメッセージ内のリンクからダウンロードページに飛べます。

それではコマンドを叩きます。
$ wget http://archive.cloudera.com/cm4/installer/latest/cloudera-manager-installer.bin
$ chmod u+x cloudera-manager-installer.bin
# ./cloudera-manager-installer.bin

GUIのウィザードが起動するので、Nextとか同意するとかしてください。インストール処理はそこそこ時間かかりました。
ファイアウォール穴開け
7180番ポートを開けます。
# vim /etc/sysconfig/iptables
--
-A INPUT -m state --state NEW -m tcp -p tcp --dport 7180 -j ACCEPT
--
# service iptables restart

Cloudera Manager使ってHadoopクラスタ構築

ブラウザでインストールしたマシンの7180番ポートへアクセス。ログイン画面が表示されるので、ここに記載されている通りログインユーザー・パスワードに「admin」を入力してログインしてください。

後はもうウィザードに従えばいいだけなので割愛。Hadoopに手を出そうとする人なら説明なんていらんでしょ。ちなみに僕の環境の場合、前述の通りインストール処理は1時間以上かかりました。
そして、エラー発生
片手間に進捗バーを眺めること1時間弱、ようやく全てのソフトウェアのインストールが完了したと思いきや、エラーが発生してバーの色が赤色になって「ロールバックします」との非情な光景が。
ホスト一覧の「詳細」リンクを押下するとインストールログを参照できるので、確認してみたところ、以下エラーが発生していました。
BEGIN /sbin/service cloudera-scm-agent start 
cloudera-scm-agent を起動中:  [60G[ [0;31m失敗 [0;39m] 

サービスの起動でエラー発生しているので、サービスのインストールに失敗したのかと思い、いろいろと調べたところ、発見したのがHadoopのエキスパートと思われる方の以下記事。
Cloudera Manager のインストーラーである cloudera-manager-installer.bin は、速度の遅いネットワークではタイムアウトのせいで失敗してしまう (ように見える)
この方は結局Cloudera Manager使うのを諦めて手作業でインストールしたそうです。ってことで、僕も深追いするのは諦めました。
手作業でのインストール手順は、上記の方とか他をあたってください。

Cloudera Manager アンインストール手順

僕と同じくCloudera Managerでインストールできねぇってことで無用の長物と化したのでアンインストールしたい場合は、以下ページを参照してください。