非プログラマーのためのインフォマティクス入門。(仮)

非プログラマーがインフォマティクスについて勉強したことを記録します。主にKNIMEというソフトを使用しています。

非プログラマーのためのインフォマティクス入門。(仮)

knime

【KNIME】現場向け、自動化ツールとしてのKNIME

あけましておめでとうございます…? はい、今年初めての記事です! COVID-19対策で色々と活動が制限される日々が続きますが、みなさまいかがお過ごしでしょうか?嫌なこと・困ること、私にもありますが、マスクがないのは本当に困りますね(花粉にやられる)。…

【KNIME】気休め程度に体裁を整えたエクセルファイルを吐き出す

4ヶ月ぶりの更新です。新年度を迎え、皆様はいかがお過ごしでしょうか?進学, 入社された方、部署の異動があった方などもいらっしゃるかと思います。周囲の環境が変わると、様々な要因から体調を崩してしまうこともあると思います。まずは健康に毎日を過ごし…

【KNIME】KNIMEのインストール 2018 ver.

皆さんお元気ですか?このブログを書き始めて1年ちょっとが経ちます。主にKNIMEというツールの基本的な使い方を記事にしています。 私がKNIMEに触れ始めた頃は、google先生に聞いても国内ではあんまりユーザーがいるような気がしないし、種々の情報もgetでき…

【KNIME】バッシュをはいて、ちょっと高く跳んでみようぜ!

みなさま、お久しぶりです。前回の更新から3ヶ月。新しい仕事を覚えたりするのに頭を使ったり、イヤイヤ期真っ最中の娘(2)・諸々活発になってきた息子(0)に手一杯で、なかなかブログ更新ができないですね。 まあ、お金儲けで書いてるわけじゃないですし、の…

【KNIME】メモリが足りない…。ちょっと待って!がっかりするその前に!

みなさん、お元気ですか。 私は、ちょっと用事があって、昨日は久しぶりに都内に出かけました。田舎暮らしが長くなってきたせいなのか、単純に頭が老化しているのかはわかりませんが、 「都心の景観は、情報量が多い!」と感じました。 学生の頃は、都内で暮…

【KNIME】ノード紹介:Try, Catch Errors 〜折角流した処理がエラーで止まるのを回避する〜

みなさん、いかがお過ごしですか? はてなブログには、どのくらいのページビューがあったのかを見ることができる機能があります。なんだか最近、ちょっとずつアクセスが増えているようです。 嬉しいので、もっと色々と更新したいのですが、今年度から担当に…

【随時更新?】当ブログタイトル一覧 〜ブログの情報取得もKNIMEでやるよ〜

みなさまこんにちは。 先日、にほんごであそぼ(NHK)で草枕をとりあげていました。 智ちに働けば角かどが立つ。 情じょうに棹さおさせば流される。 意地を通とおせば窮屈きゅうくつだ。 とかくに人の世は住みにくい。 (青空文庫より) 有名な冒頭部分ですね。…

【KNIME 】Excel?のMROUND関数と同じことをKNIMEでやってみよう!

新年度がスタートしましたね! 私はこの春から、新しいことに挑戦することになりました。これまでは薬品を混ぜたり、フラスコや試験管を触ったりする仕事をしていたのですが(いらすとやイメージだとこんな感じ↓) 4月からは、computerを使って化学する世界で…

【KNIME 】scikit-learnをKNIMEで動かすよ 〜t-SNEを題材に〜

みなさん、年度末が近づいてきました。色々と忙しい日々ですが体調には気をつけないといけません(私は、先日発熱しました…)。 さてさて、今回はKNIME上でpython書いて、scikit-learnを動かしてみます。 で紹介した可視化を、t-SNEを使ってやってみます。 …

【KNIME】お手軽に機械学習してみませんか? 〜random_forest_regression〜

久しぶりに記事を書きます。二児の親となり、家のことを忙しくしつつ、最近は機械学習をかじり始めました。始めたといっても、いろいろを触って、動かしてみている程度。きっちり取り組んでいる方には怒れらてしまいそうですが、様々なツールも出回り、コモ…

【KNIME】ノード紹介:Copy/Move Files 〜一括でファイル名を変換しよう〜

みなさん、こんにちは。10月になりましたね! 今回の内容なんですが、一般的に使えそうな・TIPS的な感じのやつを考えた結果、ファイル名の一括変換に関して書いてみようと思います。 Webで調べると、ファイル名の最後に連番をつけるような方法がよく紹介さ…

KNIMEで化合物をクラスタリング&可視化してみよう

みなさん、こんにちは。 私は急な気温の変化と、ブタクサ?花粉で体調がイマイチです。 心はあまり元気でないので、せめて体は元気で過ごしたいものです。 さて、今回は何について書こうかなーと考えていたのですが、前回、ChEMBLからとってきた情報を使って…

KNIMEを使ってChEMBLから情報をとってくるンゴ

なんだか、最近巷ではなんJ民が溢れているそうですね! headlines.yahoo.co.jp おさぼりおじさんが、日中よく読んでいる*1というyahooニュースで取り上げられているくらいなので、間違い無いですね。驚きですね。 さて、毒吐きから始めてしまいましたが、今…

KNIMEで明日の天気を調べよう! 〜REST APIの活用〜

今回はKNIMEを使って、明日の天気予報を調べてみようと思います。 …このこと自体に大して意味はありません。 ポイントは KNIMEはweb上の情報も取得することができる という点です。 色んな方法があるのですが、今回はわりと分かりやすい「REST API」を活用し…

【KNIME】ノード紹介:Parallel Chunk Start 〜多重影分身するってばよ〜

今回の記事は短めですが、活用できる場面にかなり高い確率で遭遇できると思います。 どんな場面かというと… この処理、重いんですけど! という時です。 そんな時は、Parallel Chunkを使いましょう! Parallel Chunk Start (End) 重たい処理の前後をParallel…

【KNIME】ノード紹介:Group Loop Start 〜カテゴリごとに処理したい〜

先日、KNIMEでloopを回すにはどうするか?という記事を書きました。割と興味を持っていただけたのか、たくさんブックマークもして頂きました。ありがとうございます。 こんなニッチな内容でも読んでくださる方がいるというのは嬉しいですし、今後も頑張って…

【超入門】Loopを回せ! 〜KNIMEを使って複数のファイルを一気に読んでみよう〜

勝手に偉そうな命名をした"超入門シリーズ"ですが、これまでに ファイルの読み方 (エクセルファイルを例にして) 変数の使い方 について紹介してきました。 さていよいよ今回はループの回し方について紹介したいと思います。 この3つが揃えば、データサイエ…

【超入門】KNIMEで変数を使うには 〜今日の日付をエクセルのシート名にして書き出してみよう〜

今回*1は変数*2の使い方について、基本的な部分を書いてみようと思います。あまり馴染みのない方もいらっしゃるかもしれませんが、 変数なし:すべて徒歩でプレイ 変数あり:キメラのつばさ使える くらいに幅が広がると思います。 (さらにループ処理ができれ…

【KNIME】ノード紹介:Nominal Value Row Filter 〜欲しいカテゴリのrowを抽出したい〜

お盆休みですね。まったりと更新してきます。 さて、行(row)の抽出のために使うrow filterやrow splitterには結構色々な種類があります。これまでの記事では Row filter, Row splitter Reference row splitter (紹介してないけど、これのfilter版もあるよ) …

【KNIME】ノード紹介:Missing Value 〜欠損値を処理しよう〜

今回は欠損値の処理に使えるノードを紹介します。ざっくりといえばテーブルの空っぽの部分をどうするかということです。 KNIME(3.3以上)のテーブル表示では、欠損値は?で表示されます(3.2以前は?です。黒色のはてななので、欠損値なのか本物の?なのかちょっ…

【KNIME】ノード紹介:concatenate 〜複数のテーブルをとにかく纏める〜

今回は時間がうまく作れなかったので、短めの記事です。でも活用頻度は大のノードを紹介します。 Concatenate 名前の通り、連結するノードです。極力余計なことはしないで、複数のデータを"縦方向に"連結します。キャプチャを見た方が早いと思うので、貼りま…

【KNIME】ノード紹介:Value Counter 〜重複データを探せ〜

今回は指定したカラムの中に重複するデータがあるのか無いのか簡単に分かるノードValue Counterを紹介します。繋ぐだけの簡単ノードなので、おまけ活用例もあわせて紹介しますね。 それでは、webに転がっていたデータを一部改変したものを使って進めていきま…

【KNIME】ノード紹介:Regex Split 〜文字列を分割したい part 2〜

以前に"区切り文字(列)を指定して、文字列を分割するノード"であるcell splitterについて紹介しました。 【KNIME】ノード紹介:cell splitter 〜文字列を分割したい〜 今回は、これの第二弾です!。前回のColumn Rename (Regex)を紹介記事を書きながら、セッ…

【KNIME】ノード紹介:Column Rename 〜カラム名を変更したい〜

今回はカラム名を変えたいときにどうするか?というお話です。後から気が変わったり、KNIMEの仕様で勝手にカラム名を決められたり、様々な理由で変更したくなるタイミングがあると思います。下の例を参考にして、操作の方法を紹介します。 *このテーブルがで…

【KNIME】ノード紹介:Transpose, Pivoting 〜表(table)の縦と横(行と列)を入れ替えたい〜

表の行と列を入れかえたいよーということ、ありませんか?ちなみにエクセルでは 表をコピーする "形式を選択して貼り付け"を選ぶ "行列を入れ替える"にチェックをいれてOK こんな感じでできます(私は他のやり方は知らん)。 ではKNIMEではどうやるのでしょう…

【KNIME】ノード紹介:String Manipulation 〜文字列変換の万能選手〜

今回は下のようなデータに対し、年齢データのおしりに「歳」をつけたり、会員番号のハイフンを@に変えたりしてみます。 String Manipulation 文字列に対して、何か処理を施したい。そんなときは俺に任せろ的なノードです。かなり色んなことができます。めち…

【KNIME】ノード紹介:GroupBy 〜同じものをひとまとめに〜

前回までにcell splitterを使って、セルの中身を縦・横にぶった切る方法を紹介しました。 【KNIME】ノード紹介:cell splitter 〜文字列を分割したい〜 【KNIME】ノード紹介:cell splitterとUngroupのコラボ 〜文字列を縦方向に分割したい〜 予告通り、今回…

【KNIME】ノード紹介:cell splitterとUngroupのコラボ 〜文字列を縦方向に分割したい〜

前回は文字列を特定の区切り文字で分割し、新しいカラムとして(横方向に)分割する方法を紹介しました。 sumtat.hatenablog.com 今回は、予告通り縦方向にぶった切ります。目標はこんな感じです。

【KNIME】ノード紹介:cell splitter 〜文字列を分割したい〜

Cell splitter 今回は特定の文字(列)で、エクセルでいうところのセルの中身を分割してみよう!というお話です。紹介するノードはcell splitterです。これは使用率大です!思わぬ場面で活躍してくれています。 *ノードの名前、だいたい"そのまんま"という感じ…

【KNIME】ノード紹介:Joiner 〜2つのテーブルをくっつけよう〜

今回はJoiner を紹介したいと思います。スーパー基本操作に関しては過去記事【超入門シリーズ(全3回)】に書いてみました。必要に応じて参照いただければと思います。 【超入門(1/3)】KNIMEの使い方 〜エクセルファイルを読んでみよう(Excel Reader)〜 - 非プ…