お久しぶりです、ジーフーです。 8月末に勉強会のスピーカーとしてAzure Data Factory V2に関する技術情報を発信してきました。 data-engineer.connpass.com 内容としては、Azure Data Factory Version2で追加された新機能の紹介をメインに、Demoを交えて紹…

こんにちは。 Azure Data Factory(以下、ADF)のバージョン2が2018年6月末にGA（一般公開）となりました。 ※GA(一般公開)とは、プレビュー版として提供していたサービスを一般的に公開することです そこでADF v2で強化されたUI周り、また、統合ランタイムにつ…

こんにちは。 Azure Data Factory バージョン2はGUI周りが強化されて、非常に操作性が向上したと実感しています。 バージョン２にアップデートされて、パイプラインの実行タイミングはトリガーで指定するようになりました。 筆者がトリガーの検証を行った際…

こんにちは。 Blog復帰(?)一回目の記事は、最近お気に入りの製品「Azure Data Factory」について記そうと思います。 今回はAzure Data Factoryとは何か、また、その製品を理解する上で基礎となる部分に関してを説明します。 なお、本記事は2018年6月にGA(一…

このブログをご覧いただいている皆様、こんにちは。 じーふーと申します。 このブログを開設した当初は頑張って記事を投稿しておりましたが、元来飽き性な性分であることがブログでも発揮され、記事投稿が滞ってしまいました。。。 現在３３歳。ブログ開設時…

各ユーザーのログイン履歴や、最終ログイン日時を確認することができるコマンドがあることを知りましたのでメモメモ。 管理サーバの不正ログインを検知するのに使えそうですね。 最近ログインしたユーザー履歴確認 # last 実行結果 [root@db-1 scripts]# las…

PostgreSQLのRPMをインストールすると、合わせて「postgres」ユーザーが作られたり、サービス自動起動が設定されたりと色々勝手にやってくれるのですが、ユーザー作成やサービス自動起動設定を定義している記述は何を参照すれば確認できるのかまったくわかっ…

Linux環境にGridInfrastructure(11.2.0.4)をOUIを利用してインストール・アップグレードしようとした場合に、インストール対象のホスト名には要注意です。 ホスト名に大文字が含まれていた場合、対象ホスト間をパスワードなしでSSH接続できる状態にあったと…

キーボードのみで右クリックメニュー表示 操作対象のファイル/フォルダを選択している状態で[Shift]+[F10] (ちなみに、右クリックで表示されるメニューはコンテキストメニューというらしいです。) 地味ですが便利です。 自分はよくvagrantを利用して仮想環境…

コマンド w [ユーザー名]コマンドを実行することで現在ホストにログインしている指定ユーザーの利用状況を確認することができます。 また、ユーザー名を指定しないで実行することで、ログインしている全てのユーザーの利用状況が確認できます。 Show who is …

環境 CentOS 6.5 リポジトリ追加 公式で配布している各環境用のRPMファイルを下記サイトよりダウンロードしてインストール PostgreSQL RPM Repository (with Yum) 今回は下記RPMファイルをインストールしました [root@vagrant-centos65 ~]# rpm -ivh /vagran…

以前、社内勉強会内で「コネクションプーリングについて説明できる人いる？」という部長からの質問があり、自分はまだ説明できるほど理解できていないなと実感したのでメモメモ。 まずは参考リンクを熟読して理解して、人に説明できるレベルにしなければ！ (…

tagomorisさんが開発したxbuildというツールを使うことで、手軽にrubyをインストールできるようになっています。 その他にも、Go/PHP/Perl/Python/Node.js がサポートされています。 (tagomorisさん、xbuild開発に携わった皆様、ありがとうございます！) 201…

ユーザーをあるグループに追加する場合はusermod -aGコマンドかgpasswd -aを利用した方がいいという話です。 ユーザーをグループに追加する手段 ユーザーを作成する場合に、そのユーザーをグループに所属させる方法として主に以下の手段が考えられる user作…

psql起動時に-o [ファイル名]オプションを付けて出力先を指定することで、psqlで実行したクエリの結果をファイルに出力できます。 実行ログ [postgres@vagrant-centos65 ~]$ /usr/local/pgsql/bin/psql test -q -t -o result.out test=# test=# test=# \qech…

psql起動時に-Eオプションをつけることで、メタコマンドが内部的に実行しているqueryを見ることが出来ます。 実行ログ [postgres@vagrant-centos65 ~]$ /usr/local/pgsql/bin/psql test -E psql (9.3.5) Type "help" for help. test=# test=# test=# \dt ***…

自作パッチファイルの作成・適用方法をメモします。 今回はPostgreSQL 9.3.5のソースを修正し、エラーメッセージの文言を変更する方法を試します。 変更対象 今回は下記エラーメッセージを以下のように変えてみました。 $ /usr/local/pgsql/bin/initdb -D /u…

環境 CentOS 6.5(64bit) PostgreSQL 9.3.5 そもそもPostgreSQLの"データベースクラスタ"とは?? 1つのデータベースインスタンスが管理するデータベースの集合体。 複数の冗長化されたデータベースを一つのデータベースに仮想的に見せる、と言ったような意味で…

Qiitaのこの記事を読んで今後自分も実践していこうと思いましたのでメモ マネジメント - 「進捗どうですか？」より2015倍捗る「困ってますか？」 - Qiitaqiita.com

環境 postgresql 9.3.5 CentOS 6.5(64bit) メモ インストールの流れ確認 ./postgresql-9.3.5/INSTALLファイルを確認。 ./configure gmake su gmake install adduser postgres mkdir /usr/local/pgsql/data chown postgres /usr/local/pgsql/data su - postgr…

v$parameterビューのISDEPRECATEDがTRUEのパラメータは非推奨パラメータ。 （マニュアルにも書いてあるのでそれを見れば早い話ですが…） SQL SELECT name from v$parameter WHERE ISDEPRECATED = 'TRUE' ORDER BY name; 参考 Oracle Database 12cで非推奨と…

pycrypto(バージョン2.4以上)をインストールしている状態でansibleを実行すると、下記エラーが出るみたい？ pycrypto 2.3 をインストールすると正常に動作することを確認し、2.4、2.6.1(執筆時点での最新バージョン)インストール状態で動作確認した際はエラ…

vagrant up時にプラグイン「vagrant-vbguest」をインストールしておくと、ゲストOSのVirtualBox Guest Additionsのバージョンチェック＆更新をしてくれる。 しかし、利用しているBoxイメージによってはkernelのversionが古いためにGuest Additions moduleの…

vSphere ESXi上の一つの仮想マシンに仮想NICはいくつ追加できるのか調べてみました。 環境 vSphere 5.5 上限 仮想NICの上限値は 10 公式ドキュメントを見ると 10^6と表記されていてると見間違えてしまったが、実際は注釈でしたので、最大10個まで仮想NICは設…

概要 DBインスタンスを起動する際に、事前に指定テーブルの表データをバッファキャッシュに格納するためのトリガー設定 ヒント句を用いて対象テーブルをフルスキャンかけてキャッシュに読み込ませる。 トリガー create or replace trigger "<schema>"."<trigger_name>" after start</trigger_name></schema>…

RAC関連のバックグラウンドプロセス RAC Background Processes Lock Monitor Processes (LMON) Lock Monitor Services (LMS) Lock Monitor Daemon Process ( LMD) LCKn ( Lock Process) DIAG (Diagnostic Daemon) OracleRAC関連の隠しパラメータによく_lm_ho…

参考 http://www.oracle.com/technetwork/jp/articles/chapter4-2-100886-ja.html#p01e

同じSQLを実行しても同じ実行計画が選択されない場合がある。 そのような状況が発生している場合、11gR2より実装されたカーディナリティ・フィードバック機能(Cardinality Feedback)が影響している可能性がある。 カーディナリティ・フィードバック(Cardinal…

set linesize 130 col "parameter" for a30 col "description" for a50 col "value" for a20 SELECT ksppinm as "parameter" , ksppdesc as "description" , ksppstvl as "value" FROM x$ksppi JOIN x$ksppcv USING (indx) WHERE ksppinm IN ('[隠しパラメー…

WindowsServer2012R2環境でネットワークアダプタの接続優先順位を変更する方法をメモ。 WSFCを構成する際に、マニュアルにも記載されていた作業だが、検証しているときにこの設定を失念していて、 管理用ネットワーク(Outside) ハートビート(Interconnect) …