NAKAMURA Minoru の日記 (2013年3月)

風邪でダウン

金曜日は腹痛が、土曜日はやたらくしゃみが出ていたのだが、今日は微熱がする。 風邪か、風邪なのか。

x86/x64最適化勉強会5

x86/x64最適化勉強会5に行ってきた。

[Food] 新横浜ラーメン博物館

新横浜で講習会があったついでに久しぶりに新横浜ラーメン博物館(公式)に入ってみる。 本当に久しぶりなので、いろいろ店が変わっている。

高知・須崎 鍋焼きラーメン 谷口食堂

高知・須崎 鍋焼きラーメン 谷口食堂というお店。 鍋焼きラーメンは高知県須崎市の名物らしい。 鍋焼きうどん風のタレなのでラーメンとしては薄味。 なんとなくチキンラーメンを思わせる。

鍋の蓋が熱い

鍋焼きラーメン

二代目 げんこつ屋

二代目 げんこつ屋で生姜ラーメンを大量に入れたラーメンを食べる。 ニンニクを入れたのに味は似ているが香りが全然別なので不思議な感じ。

げんこつ - SHOGA -

[時事] 台湾中部で M 6.1 の地震

台湾中部で27日の午前10時3分(日本時間11時3分)に M6.1 の地震が発生。

[Food] マヤレストラン＠武蔵小杉

お昼休みに武蔵小杉の銀行に行ったついでに、インド料理「マヤレストラン」(公式、食べログ)でお昼を食べて帰る。

前回2012年9月6日に来た時は、それほど美味しいとも思わなかったが、ランチメニューは美味しい。 いきなりアルゴビを食べたのがまずかったか？

今日から交通系ICカードの相互運用開始

JR各社が発行する Kitaca、Suica、TOICA、ICOCA、SUGOCA、首都圏の PASMO、関西の PiTaPa、名古屋の manaca、福岡の「はやかけん」、西日本鉄道の「nimoca」が相互運用開始。

これで東海道新幹線のキオスクで「Suica は利用できません」のお断りを受けずに済む。

[Movie] シュガー・ラッシュ

川崎ダイスの TOHO シネマズで「シュガー・ラッシュ」(公式)を観る。 原題は "Wreck-It Ralph"。

[Food] ティーヌン 川崎ダイス店＠川崎

川崎ダイスにあるタイ料理のティーヌン(公式、ぐるなび、食べログ)に。

カオ・パッ・クン 海老炒飯

旬のカブと鶏肉のレッドカレーペースト炒め

[Food] FULBARI＠武蔵新城店

武蔵新城にあるインド・ネパール料理「FULBARI(フルバリ」(ぐるなび、食べログ)で夕ご飯を食べて帰る。

サラダ	チキンティカ
	アルゴビ	マトンサヒコルマ マトンとカシューナッツのカレー

[Food] ロードブッダ＠元住吉

自宅近くのインド・ネパール料理(食べログ)でランチを食べる。

東急東横線の渋谷駅

東急東横線が副都心線と連結したことにより渋谷駅が地下化して、これまでの駅が廃止された。 昔の駅は閉鎖され、外から眺めることしかできない。 もの寂しい。

新しい駅は地下は半蔵門線の一層下にある。

ルーベンス 栄光のアントワープ工房と原点のイタリア＠渋谷Bunkamura

渋谷 Bunkamura ミュージアムの「ルーベンス 栄光のアントワープ工房と原点のイタリア」(公式、特集)を観る。

Bunkamura ミュージアムは「ブリューゲル 版画の世界」や「フェルメール<地理学者>とオランダフランドル絵画展」などオランダ絵画展をよくやるけど、今回はピーテル・パウル・ルーベンス。 ルーベンスはオランダ出身の画家だが、イタリアでの修行時代があり今回はイタリアに残っているルーベンスの絵画等も来日。 ルーベンスは外交官としても活躍していて、イギリスからの注文されてイギリスの美術館に残っている作品等の展示もある。

ルーベンスはヤン・ブリューゲル(父)と親交があったようで、合作絵画の展示もあったような気がする。 ヤン・ブリューゲル(父)と幻想画家のピーテル・ビューゲル(子)は兄弟なので、ルーベンスとピーテル・ブリューゲル(子)は同時代の人なのね。 オランダ絵画の黄金時代は割と狭い。

[Food] シャンティ SHANTi＠渋谷

札幌のスープカレーの「シャンティ SHANTi」(公式、食べログ)でカレーを食べる。 この店は辛さの調整が 40 倍まえ選べるようだ。 自分は 3 倍までに抑えておく。

店の前	チキンと野菜のスープカリー

[Movie] キャビン

川崎チネッチで「キャビン」(公式)を観る。 原題は "The Cabin in the Woods"。

[Food] ナイルレストラン＠東銀座

銀座に出たついでにナイルレストラン(公式、食べログ)に行ってみる。 前回は2005年なので約7年ぶり。

今回もムルギーランチを注文。 前回はかき混ぜて食べることを知らなかったが、同じ間違いは二度繰り返さない。

店の前

トマトのスープ

ムルギーランチ

よくかき混ぜる

銀座で見たゴリラ。 逃亡中。

[Movie] クラウド・アトラス

川崎チネチッタで「クラウドアトラス」を観てくる。 異なる時代の6つの物語が交差するのはすぐ分かるが、これは「火の鳥 太陽編」のような構成だろうと心構えるものの、6つの物語がほとんど関連を持たず独立したまま進むという、ある意味非常に画期的なストーリーだった。

[Prog] InfiniBand Verbs の非同期イベント

InfiniBand Verbs は ibv_open_device で開いた HCA ごとに非同期イベントを受信できる。 非同期イベントは IBA Specification Vol.1 の 11.6.3 ASYNCHRONOUS EVENTS に定められた機能で、IB Verbs に関係する通知を非同期的に受け取ることができる。

この非同期イベントは、「イベント」と「エラー」の違い、「Affiliated」と「Unaffiliated」の違いによって 4 種類に分かれている。

• Affiliated Asynchronus Events (11.6.3.1)
• Affiliated Asynchronus Errors (11.6.3.2)
• Unaffiliated Asynchronus Events (11.6.3.3)
• Unaffiliated Asynchronus Errors (11.6.3.4)

IB Verbs も通常の使用方法の範囲内で起きたエラーは API のレベルで返すのだが、それよりも少し深刻度が高いものを非同期イベントで「エラー」として返す。 一方、「イベント」は「エラー」ではない事象で、今日の日記で説明する非同期イベント機能や、ポートに関する通知が「イベント」に分類されている。

「Affiliated」は非同期イベントとはいえ別の事象と連動して発生する通知を言う。 「Unaffiliated」は完全に独立して発生する通知が分類されている。

IB Verbs で発生する非同期イベントをまとめると次の表のようになる。

このうち太文字で記した 4 つの Affiliated Event は、他の非同期イベントと違い IB Verbs の中でプログラム的に拾って制御できる。

Communication Established Affiliated Asynchronous Event

QP による通信は QP のステートを RESET → INIT → RTR (Ready To Receive) → RTS(Ready To Send) と変更して初めて双方向通信が可能になる。 ただし RTR の段階で一方的な受信は可能になっている。

IBV_EVENT_COMM_EST 非同期イベントは RTR のステートの段階でパケットを受信した時に 1 回だけ発生する。 受け取るパケットは SEND/RDMA WRITE/RDMA READ/ATOMIC 操作要求のいずれでもよい。 RTR ステートのまま複数のパケットを受信しても 2 度目以降は発生しない。 ただしステートを遷移させ、再び RTR ステートに変えた場合はまた発生する。

RTR ステートでパケットを受信した時に発生する非同期イベントに Communication Established と名前がついているのは、このイベントが Communication Manager(RDMA CM) の通信確立のために利用されるためである。

SRQ Limit Reached Affiliated Asynchronous Event

InfiniBand Verbs の Send Queue(SQ)、Receive Queue(RQ) は中に入っている Work Request (WR) のエントリ数を外から監視する簡単な方法がない。 ただし SQ や RQ が QP ごとに独立して設定されていれば、送信回数や受信回数をカウントすることで計算はできる。

一方、複数の QP から共有される Shared Receive Queue(SRQ) の場合はこのようなカウントが難しいので、SRQ の残 WR 数が制限値を未満となったら IBV_EVENT_SRQ_LIMIT_REACHED 非同期イベントを発生させ、プログラムがこれを検出することで SRQ の WR 数不足を捕捉することができる。

SRQ の制限値は ibv_modify_srq を使って設定する。 struct ibv_srq_attr 構造体の srq_limit メンバ変数に値を設定すればよい。 srq_limit メンバ変数を 0 以外に設定すると SRQ Limit がその値で有効化される。 0 に設定すると SRQ Limit は無効化される。

struct ibv_srq_attr attr = {
    .srq_limit = (SRQ 制限値),
};

ibv_modify_srq(srq, &attr, IBV_SRQ_LIMIT);

ibv_create_srq にも struct ibv_srq_attr 構造体を渡すので srq_limit メンバ変数を与えることはできるが、srq_limit メンバ変数は無視される。 ibv_create_srq で SRQ を作った直後は SRQ Limit は無効化されている。

SRQ Limit が有効な場合、WR 数が制限値未満になった時に IBV_EVENT_SRQ_LIMIT_REACHED 非同期イベントが発生する。 ただし 1 度 IBV_EVENT_SRQ_LIMIT_REACHED 非同期イベントが発生すると、SRQ Limit は無効化されるので、もう 1 度使うには ibv_modify_srq で再設定する必要がある。

ちなみに ibv_modify_srq は srq_attr_mask に IBV_SRQ_MAX_WR を設定するには、HCA が IBV_DEVICE_SRQ_RESIZE をサポートしている必要がある。 ただし IBV_SRQ_LIMIT は IBV_DEVICE_SRQ_RESIZE サポートは不要である。

Last WQE Reached Affiliated Asynchronous Event

IBV_EVENT_QP_LAST_WQE_REACHED 非同期イベントは SRQ を設定した QP がエラーとなった場合にそれを通知するための機能である。 発生条件は以下の 2 つである。

• SRQ を使用している QP が、一度でも RECV を受信して CQ に CQE を積んだ後にエラーになった場合に発生する。 これは CQ から ibv_poll_cq で CQE を取り出した後でも発生する。 ただし RECV を 1 度も受信したことがない QP がエラーになった場合は発生しない。
• SRQ の WR が尽きて空になった後に、その SRQ を使用している QP がエラーになった場合に発生する。

名前が Last WQE Reached とついているが、最後の WQE を受け取った QP に発生するというわけではないようだ。

追記：2013/10/26

どうも勘違いしていたが Last WQE Reached Event は、SRQ に紐付けられた QP の「尿切れ」対策のためにあるようだ。

SRQ を使わない QP にとって Send Queue と Receive Queue は QP の専用のものだが、SRQ に紐付けられた QP は Receive Queque を複数の QP と共有している。 そのため SRQ に紐付けられた QP がデータを受信する時、概念的には QP と SRQ の両方が協調して処理を進める必要が出てくる。 そのため SRQ に紐付けられた QP を破壊する処理(具体的には ibv_destroy_qp または ibv_modify_qp で IBV_QPS_RESET ステートに変更)は、SRQ 側の処理が完了したことを待ってから行う必要がある。 Last WQE Reached Event は SRQ が、QP のために最後の受信処理を完了したことを通知するためにあったようだ。

IBA Specificaiton Vol.1 の 10.3.1 QUEUE PAIR AND EE CONTEXT STATES には、SRQ に紐付けられた QP を破壊するには以下のようなプログラムを推奨している。

1. ibv_modify_qp で QP を IBV_QPS_ERR へ変更する。
2. ibv_get_async_event で QP に対する IBV_EVENT_QP_LAST_WQE_REACHED イベントが来るのを待つ。
3. 以下の2つのいずれかを実施し、CQ に QP の WC が残っていないことを確認する。
   • QCQ が空になることを確認するまで ibv_poll_cq を実行する。あるいは CQ に設定した最大 CQE 数分の WC が取り出せるまで ibv_poll_cq を実行する。
   • CQ を共有する別の QP からマーカーになる WR を送信し、それが CQ から WC として取り出せるまで ibv_poll_cq を実行する。
4. ibv_destroy_qp または ibv_modify_qp で IBV_QPS_RESET ステートへの変更を実行する。

Send Queue Drained

SQD ステートになった QP が IBV_QPS_ERR、IBV_QPS_SQE、IBV_QPS_RESET などのステートに遷移した場合に IBV_EVENT_SQ_DRAINED 非同期イベントが発生する。 SQD ステートは RTR ステートと同様に受信はできるが送信はできないステートだが、RTS ステートから SQD ステートに切り替える前に発行した送信操作の ACK を待っている点が異なる。 処理すべき全ての ACK が返ってきた時に IBV_EVENT_SQ_DRAINED 非同期イベントが発生する。 プログラムがこの非同期イベントを拾うことで QP を SQD ステートから RTS ステートに変更する契機を掴むことができる。 正確に言うと QP が SQD ステートの場合、ibv_modify_qp で RTS ステート、ERROR ステート、再帰的に SQD ステートに変更することができる。 この中で ERROR ステートに変更するのは自由なタイミングでできる。 しかし RTS ステートと SQD ステートに変更するには、全ての送信操作に ACK が返ってきた後を待つ必要がある。それ以前に RTS ステートまたは SQD ステートに変更しようとすると、ibv_modify_qp がエラーで返る。

煙霧(えんむ)

ミュシャ展を観るために六本木ヒルズまで出てきたのだが、空が視界不良。 「煙霧」というらしい。

ヒルズの52階

ミュシャ展＠森アーツセンターギャラリー

ミュシャ財団秘蔵 ミュシャ展 パリの夢 モラヴィアの祈り(公式)を観に行く。 ミュシャ財団は定期的に日本でミュシャ展を開催しているようで、前回は2005年に上野の東京美術館で開催していた。

今回は森アーツセンターギャラリーでの開催だが歌川国芳展に比べると人の入りは少ない。 大英博物館 古代エジプト展よりもさらに少ないぐらいだ。 並ばずに入れるのはありがたい。

ミュシャの展示はアール・ヌーヴォー時代が中心になりがちだが、今回はパリ以降のチェコに戻った後の展示が多い。 もち巨大(6m×8m!)な『スラヴ叙事詩』は門外不出・移動不能なのだが、『スラブ叙事詩」の習作が来ている。 習作と言っても高さが2mぐらいある!!

[Food] 香港茶樓＠六本木ヒルズ店

飲茶の食べ放題の店らしい。 映画まで時間があるのでふらっと入ってみた。 注文は iPad で行う。 外側にバッテリーを入れているのか非常に重い。

36種の食べ放題というのをやってみたのだが正直微妙。 36のメニューの中にはご飯の上に載せたものの違いだけ(ねぎ、家鴨、etc)というが多数ありレパートリーは少ない。 味も微妙。

[Movie] ジャンゴ 繋がれざる者

六本木ヒルズの TOOHO シネマで「ジャンゴ 繋がれざる者」(公式)を鑑賞。 普段は川崎で映画を観ているが、さすが都心だけあってスクリーンがほぼ満員になるのね。

[Food] 37 CURRY ＠六本木ヒルズ

六本木ヒルズ内のカレー屋。 これも微妙。

[Movie] オズ はじまりの戦い

川崎ラゾーナの 109 シネマで IMAX 上映の「オズ はじまりの戦い」を観てきた(公式)。 初 IMAX 視聴。

Alice In Wonderlandと同じメンバーということであまり期待していなかったが、脚本の妙か期待以上に面白かった。 一応「オズの魔法使い」の1巻につながる展開になっていたが、本編の魔女を恐れるあまりドロシーに西の魔女の退治に行かせるオズとはギャップがあるね。

[Food] 本場タイ屋台料理チャオタイ＠川崎

タイ料理チャオタイ(公式、ぐるなび、食べログ)へ。

カオパッゲンキョーワン (グリーンカレー焼き飯)

ガイヤーン

[Food] インドカリーダイニング Cobara-Hetta＠ヨドバシ横浜

ヨドバシ横浜の地下街にあるインドカリーダイニング Cobara-Hetta(公式、ヨドバシ横浜)で飯を食べて帰る。

チャパティ	チキンティッカ	スパイシーチキンカリーとバラックシュリンプカリー	ローティ 米製のナン?

Ceph の開発計画の変更

Ceph の開発元の Inktank が cephfs に関する開発計画を見直すそうだ。

Ceph は分散オブジェクトストレージの RADOS をベースに、それをブロックデバイスとして公開する RBD とファイルシステムとして公開する cephfs の 3 種類の機能を持っていた。 Cephfs は独自プロトコルだが NFS のようにネットワークファイルシステムとして動作するのだが永らく不安定で、Inktank は RADOS と RBD に開発を集中させていた。 そちらが一段落ついたので cephfs の開発を再開するようだ。

ただしバージョン 1 へ向かうため cephfs が掲げていた機能のうち、いくつかは開発目標から外すという。 Minimum Viable Product として選んだ 開発目標案 である。 コミュニティに諮っているが、実際はこの線で進むだろう。

Single-MDS

(Ceph の開発者の) Sage 氏の博士論文では、cephfs の MDS (Metadata Server) はファイルシステムのツリーを動的にパーティショニングして複数の MDS が分担し、クライアントからのメタデータの検索を負荷分散することになっていた。しかしこの負荷分散機能はおあずけになる。
ただし信頼性確保のために active/stand-by のクラスタ化は行う。

No fsck

ファイルシステムが壊れていないことのチェックと実際に壊れていた場合の修復のために fsck が必要になる。 特に分散ファイルシステムはデータが巨大なので高速な fsck が必要である。
RADOS はオブジェクトのレプリカ間の一致を定期的に確認している(PG 単位の scrubbing を行い、replica 間の一致を checksum によって確認)。 MDS は RADOS のオブジェクトとして格納されるのでこのチェックを受けるので、オブジェクト自身が壊れることはない。
Ceph にとっても fsck の開発は重要な目標であったが、とりあえずおあずけになる。

No snapshots

Cephfs は NetApp や ZFS、btrfs が持つようなディレクトリ単位のスナップショット機能を持っているが、この部分でバグがよく発生していた。 このため Minimum Viable Product で、スナップショット機能は未サポートとなる。

後ろ向きな話ばかりではない。 安定性の向上は当然やるが、それ以外に既存ファイルシステムとの挙動の食い違いを減らしたり、負荷集中に弱い部分を直すようだ。

• Maximum number of entries in a single directory (一つのディレクトリのエントリ数を増やす)
• POSIX-compliant (Hard link のサポートやロックの挙動等は POSIX に合わせる)
• Can be used by thousands of clients simultaneously (MDS への問い合わせの負荷集中を改良する)
• Scales to arbitrary data throughputs
• Allows an unlimited number of files in the hierarchy
• Is location aware
• Many interfaces (Ganesha NFS、Samba、Hadoop intergration を進める。

秋葉原オクトーバフェスト

日本一早い、下手すると世界一早いオクトーバフェストが秋葉原で開催中(公式、AKIBA PC Hotline!)なので見てくる。 いくらなんでも3月からオクトーバーかよ。

ベルサール秋葉原で開催なので、都内の他の場所と比べても小規模だ。 ステージとかはない。

都内で開かれているこの手のオクトーバーフェストを廻っているのはスパゲッティーアイスを探しているのだが、今回もなかった。

[Food] 九州じゃんがら＠秋葉原

久しぶり、というか数年ぶりに「九州じゃんがら」(公式)を食べる。 大学時代のまだ飯屋があまりなかった頃はいつ行っても行列ができていたが、今日は空いていた。 やはり秋葉原が飯屋だらけになったからだろうか？

懐かしい味だが、記憶の中のじゃんがらほど美味しくない。 記憶の中の味だからか？加齢が原因か？

[Movie] FLIGHT

デンゼル・ワシントン主演の「FLIGHT」(公式)。 予告を見た時は「航空機事故に隠された秘密が法廷で暴かれる」みたいなストーリーかと思ったが、アル中がテーマだった。 かなり広告詐欺。