NAKAMURA Minoru's Diary (2017年3月)

3/26 (日)

[MyWeb][PostgreSQL] 「PostgreSQL のメモリ管理関数の解説」を作成

PostgreSQL の palloc()、pfree() の使い方を説明するPostgreSQL のメモリ管理関数の解説の記事を作成。

3/25 (土)

[Movie] キングコング: 髑髏島の巨神

チネチッタで『キングコング: 髑髏島の巨神』(原題: Kong: Skull Island)を 2D で観る。ベトナム戦争のアメリカ軍の全面撤退期が舞台なので時代は 1973 年か。部下を殺されコングに復讐を誓うサミュエル・L・ジャクソンが熱演するが、度々アップになるジャクソンの顔とコングの顔と区別がつかなくなるよ。

[Movie] パッセンジャー

川崎 109 シネマズで『パッセンジャー』(原題: Passengers)を観る。予告を見ると主人公の二人は偶然目覚めたと思いきや、男が孤独に耐えかねて女のコールドスリープ装置を操作してワザと起すというビックリ展開だった。予告とのギャップをという意味ではデンゼル・ワシントンの『フライト』以来だったは。

[Food] Eggs'n Things＠ラゾーナ川崎

ラゾーナ川崎の Eggs'n Thinks でご飯を食べる。前回(1月21日)は試せなかったパンケーキを食べる。

オムレツ

パンケーキ

パンケーキの上の生クリームは物凄い量だが、しつこくないので軽々と食べれる。

コメントを書き込む

3/23 (木)

[時事] ロンドンテロ

3月22日、ロンドンのウェストミンスター橋で自動車で通行人をはねた上に、国会議事堂で警官を刃物で刺す襲撃事件が発生。犯人は単独犯のようだ。犯人は射殺された。

実行犯を含めて 6 人が死亡し、40人近い人が負傷した。

ロンドンで発生したテロとしては2005年7月7日以来らしい。

コメントを書き込む

3/21 (火)

[Spark] Spark で JDBC データソースにプッシュダウン

Spark で外部データベースを JDBC で接続してデータソースとする場合、dbtable に対してデータベースのテーブル名を指定するのが普通である。

import org.apache.spark.sql.SparkSession

val ordersDF = spark.read.format("jdbc").options(Map(
        "url" -> "jdbc:postgresql://localhost/dbt3",
        "dbtable" -> "public.orders"
    )).load()
ordersDF.createTempView("orders")

しかし dbtable にサブクエリーを記述することができる。この場合、JDBC データソース側でフィルター処理が行われ、結果となる行だけが返る。一種のプッシュダウン処理ができる。

import org.apache.spark.sql.SparkSession

val ordersDF = spark.read.format("jdbc").options(Map(
        "url" -> "jdbc:postgresql://localhost/dbt3",
        "dbtable" -> "(SELECT * FROM public.orders WHERE o_orderdate >= DATA '1994-05-01') tmp"
    )).load()
ordersDF.createTempView("orders")

コメントを書き込む