非プログラマーのためのインフォマティクス入門。(仮)

非プログラマーがインフォマティクスについて勉強したことを記録します。主にKNIMEというソフトを使用しています。

KNIMEで化合物をクラスタリング&可視化してみよう

みなさん、こんにちは。 私は急な気温の変化と、ブタクサ?花粉で体調がイマイチです。 心はあまり元気でないので、せめて体は元気で過ごしたいものです。 さて、今回は何について書こうかなーと考えていたのですが、前回、ChEMBLからとってきた情報を使って…

KNIMEを使ってChEMBLから情報をとってくるンゴ

なんだか、最近巷ではなんJ民が溢れているそうですね! headlines.yahoo.co.jp おさぼりおじさんが、日中よく読んでいる*1というyahooニュースで取り上げられているくらいなので、間違い無いですね。驚きですね。 さて、毒吐きから始めてしまいましたが、今…

KNIMEで明日の天気を調べよう! 〜REST APIの活用〜

今回はKNIMEを使って、明日の天気予報を調べてみようと思います。 …このこと自体に大して意味はありません。 ポイントは KNIMEはweb上の情報も取得することができる という点です。 色んな方法があるのですが、今回はわりと分かりやすい「REST API」を活用し…

Neural Network Consoleで活性値予測をしてみた

SONYからNeural Network Consoleというのが公開されましたね(以下NNC)。 dl.sony.com これの良し悪しを議論できるほどの知識は私にはないです。でもGUIツールということで、とりあえず使ってよう!という試みです。セットアップの方法などは公式に書かれてい…

【KNIME】ノード紹介:Parallel Chunk Start 〜多重影分身するってばよ〜

今回の記事は短めですが、活用できる場面にかなり高い確率で遭遇できると思います。 どんな場面かというと… この処理、重いんですけど! という時です。 そんな時は、Parallel Chunkを使いましょう! Parallel Chunk Start (End) 重たい処理の前後をParallel…

【KNIME】ノード紹介:Group Loop Start 〜カテゴリごとに処理したい〜

先日、KNIMEでloopを回すにはどうするか?という記事を書きました。割と興味を持っていただけたのか、たくさんブックマークもして頂きました。ありがとうございます。 こんなニッチな内容でも読んでくださる方がいるというのは嬉しいですし、今後も頑張って…

【KNIME】小ネタ:** to variableノードを使わない変数の作り方

ここ何回かの記事で、変数を使った内容を書きました。 【超入門】KNIMEで変数を使うには 〜今日の日付をエクセルのシート名にして書き出してみよう〜 - 非プログラマーのためのインフォマティクス入門。(仮) 【KNIME】小ネタ:変数受け渡しに使う"赤線"の…

【超入門】Loopを回せ! 〜KNIMEを使って複数のファイルを一気に読んでみよう〜

勝手に偉そうな命名をした"超入門シリーズ"ですが、これまでに ファイルの読み方 (エクセルファイルを例にして) 変数の使い方 について紹介してきました。 さていよいよ今回はループの回し方について紹介したいと思います。 この3つが揃えば、データサイエ…

【KNIME】小ネタ:変数受け渡しに使う"赤線"の活用法

前回の記事の最後に、こんなキャプチャを載せました。 ●ー●の繋がりは、基本的には変数の受け渡しを行うためのものです。上記の例だと、Table Row to Variableで日付データを変数として、Excel Writerに渡す部分だけあれば目的は達成できるはずなんですよね…

【超入門】KNIMEで変数を使うには 〜今日の日付をエクセルのシート名にして書き出してみよう〜

今回*1は変数*2の使い方について、基本的な部分を書いてみようと思います。あまり馴染みのない方もいらっしゃるかもしれませんが、 変数なし:すべて徒歩でプレイ 変数あり:キメラのつばさ使える くらいに幅が広がると思います。 (さらにループ処理ができれ…

【KNIME】ノード紹介:Nominal Value Row Filter 〜欲しいカテゴリのrowを抽出したい〜

お盆休みですね。まったりと更新してきます。 さて、行(row)の抽出のために使うrow filterやrow splitterには結構色々な種類があります。これまでの記事では Row filter, Row splitter Reference row splitter (紹介してないけど、これのfilter版もあるよ) …

【KNIME】ノード紹介:Missing Value 〜欠損値を処理しよう〜

今回は欠損値の処理に使えるノードを紹介します。ざっくりといえばテーブルの空っぽの部分をどうするかということです。 KNIME(3.3以上)のテーブル表示では、欠損値は?で表示されます(3.2以前は?です。黒色のはてななので、欠損値なのか本物の?なのかちょっ…

【KNIME】ノード紹介:concatenate 〜複数のテーブルをとにかく纏める〜

今回は時間がうまく作れなかったので、短めの記事です。でも活用頻度は大のノードを紹介します。 Concatenate 名前の通り、連結するノードです。極力余計なことはしないで、複数のデータを"縦方向に"連結します。キャプチャを見た方が早いと思うので、貼りま…

【メドケム】KNIMEでリガンド効率を計算するよ 〜言い換えれば、ただの四則演算〜

今回は四則演算の題材としてLE(Ligand Efficiency, リガンド効率)の計算をしてみます。もはや説明の必要もないかもしれませんが、ざっくりと言えば、 "水素以外の原子1つ1つが、どのくらい頑張って活性に貢献してるの?" みたいな感じでしょうか。ずいぶん…

KNIMEで構造検索をしよう

今回は読み込んだsdfの構造式に対して、絞り込みを行う方法を紹介します。 全体像としてはこんな感じ↑です。構造で絞り込む処理をするノードはいくつかありますが、今回はIndigo2のSubstructure Matcherを使います。これは私の単なる好みです。ほとんど同じ…

【KNIME】ノード紹介:Value Counter 〜重複データを探せ〜

今回は指定したカラムの中に重複するデータがあるのか無いのか簡単に分かるノードValue Counterを紹介します。繋ぐだけの簡単ノードなので、おまけ活用例もあわせて紹介しますね。 それでは、webに転がっていたデータを一部改変したものを使って進めていきま…

【KNIME】ノード紹介:Regex Split 〜文字列を分割したい part 2〜

以前に"区切り文字(列)を指定して、文字列を分割するノード"であるcell splitterについて紹介しました。 【KNIME】ノード紹介:cell splitter 〜文字列を分割したい〜 今回は、これの第二弾です!。前回のColumn Rename (Regex)を紹介記事を書きながら、セッ…

【KNIME】ノード紹介:Column Rename 〜カラム名を変更したい〜

今回はカラム名を変えたいときにどうするか?というお話です。後から気が変わったり、KNIMEの仕様で勝手にカラム名を決められたり、様々な理由で変更したくなるタイミングがあると思います。下の例を参考にして、操作の方法を紹介します。 *このテーブルがで…

KNIMEでChemdrawファイルを読みたい 〜 Chemical Structures File Reader〜

以前にsdfの読み方を紹介しました。 『構造式の入ったファイルありますか?』 →『cdxなら有るんだけど…。』 みたいなことを言われるパターンもあるんですよね。該当ファイルが1つ2つなら、手動で開いてsdfとして保存し直す。これでいいんですが、もっと沢山…

【KNIME】ノード紹介:Transpose, Pivoting 〜表(table)の縦と横(行と列)を入れ替えたい〜

表の行と列を入れかえたいよーということ、ありませんか?ちなみにエクセルでは 表をコピーする "形式を選択して貼り付け"を選ぶ "行列を入れ替える"にチェックをいれてOK こんな感じでできます(私は他のやり方は知らん)。 ではKNIMEではどうやるのでしょう…

エクセルファイルに構造式を入れたい

エクセルは便利ですし、市民権も獲得していて、データのちょっとした共有などによく使われます(少なくとも私の周りの環境では)。 でも、エクセルで構造式入りのファイルをつくるとなると「純手作業」では結構めんどくさいですよ(ハイパーコピペモード突入)。…

【KNIME】ノード紹介:String Manipulation 〜文字列変換の万能選手〜

今回は下のようなデータに対し、年齢データのおしりに「歳」をつけたり、会員番号のハイフンを@に変えたりしてみます。 String Manipulation 文字列に対して、何か処理を施したい。そんなときは俺に任せろ的なノードです。かなり色んなことができます。めち…

【KNIME】ノード紹介:GroupBy 〜同じものをひとまとめに〜

前回までにcell splitterを使って、セルの中身を縦・横にぶった切る方法を紹介しました。 【KNIME】ノード紹介:cell splitter 〜文字列を分割したい〜 【KNIME】ノード紹介:cell splitterとUngroupのコラボ 〜文字列を縦方向に分割したい〜 予告通り、今回…

【メドケム】KNIMEで構造式を扱おう 〜sdfを読んでみよう〜

突然ですが、sdfというファイル形式があります。ごく一部のニッチな世界でしか使われていないような気がしますが、筆者は毎日扱うファイル形式です。sdfの説明は、もうchem-stationに丸投げしますね。 www.chem-station.com 私は化合物を作る方が専門なので…

【KNIME】ノード紹介:cell splitterとUngroupのコラボ 〜文字列を縦方向に分割したい〜

前回は文字列を特定の区切り文字で分割し、新しいカラムとして(横方向に)分割する方法を紹介しました。 sumtat.hatenablog.com 今回は、予告通り縦方向にぶった切ります。目標はこんな感じです。

【KNIME】ノード紹介:cell splitter 〜文字列を分割したい〜

Cell splitter 今回は特定の文字(列)で、エクセルでいうところのセルの中身を分割してみよう!というお話です。紹介するノードはcell splitterです。これは使用率大です!思わぬ場面で活躍してくれています。 *ノードの名前、だいたい"そのまんま"という感じ…

【KNIME】ノード紹介:Joiner 〜2つのテーブルをくっつけよう〜

今回はJoiner を紹介したいと思います。スーパー基本操作に関しては過去記事【超入門シリーズ(全3回)】に書いてみました。必要に応じて参照いただければと思います。 【超入門(1/3)】KNIMEの使い方 〜エクセルファイルを読んでみよう(Excel Reader)〜 - 非プ…

【超入門(3/3)】KNIMEの使い方 〜エクセルファイルとして書き出してみよう(Excel Writer)〜

前回までに KNIMEを使って、【エクセルファイルを読む】→【欲しい行を残す】というとこまでフローを書きました。 sumtat.hatenablog.com 今回は【超入門】シリーズの締めとして、 エクセルファイルとして書き出す 作成したWorkflowを保存する の2つについて…

【超入門(2/3)】KNIMEの使い方 〜欲しい行だけ抽出しよう(Row filter, splitter)〜

前回はExcel Readerを使ってエクセルファイルを読み込んでみました。 sumtat.hatenablog.com ちなみに、Excelをインストールしていなくても、中身にアクセスできますよー。 さて、サンプルとして こんな感じのデータを読み込みました。今回は宣言どおり、性…

【超入門(1/3)】KNIMEの使い方 〜エクセルファイルを読んでみよう(Excel Reader)〜

KNIME Workflow KNIMEの超基本的な使い方を数回に分けて書いてみます。 まずKNIMEを起動すると、多少レイアウトが違ったりするかもしれませんが、概ねこんな感じになるとおもいます。左上の赤枠内の小さな▼をクリック後、New KNIME Workflowを選択します(Fil…

KNIMEをフル装備化(無課金)

インストールに関するおまけ 前回、KNIMEとそのインストールに関して記事にしました。 sumtat.hatenablog.com ざっくりもう一度まとめると、KNIMEの公式ページから各自の環境(OS)に対応した KNIME Analytics Platform + all free extensions をダウンロード…

データは前処理が9割? ~KNIMEとそのインストール~

脱エクセル ビッグデータだとか、データサイエンスだとか、近年よく耳にするワードかと思います。ただ、そんな流れに柔軟に対応できていない・できない人も多いと思うんです。 この取り残された側に筆者もいるのですが、周囲の状況としては 古き良き時代?の…

テスト

こんにちは。テストです。 こんな感じでまずは脱エクセル手法を紹介していきますよー。