非プログラマーのためのインフォマティクス入門。(仮)

非プログラマーがインフォマティクスについて勉強したことを記録します。主にKNIMEというソフトを使用しています。

非プログラマーのためのインフォマティクス入門。(仮)

【KNIME】バッシュをはいて、ちょっと高く跳んでみようぜ!

みなさま、お久しぶりです。前回の更新から3ヶ月。新しい仕事を覚えたりするのに頭を使ったり、イヤイヤ期真っ最中の娘(2)・諸々活発になってきた息子(0)に手一杯で、なかなかブログ更新ができないですね。

まあ、お金儲けで書いてるわけじゃないですし、のんびりと続けていきます。

 

さて、今回はバッシュの話。

f:id:sumtat:20180924220056p:plain

靴の話ではないんです。"bash"を使って、もう少し色んなことをしてみませんか?というご紹介です。KNIMEからね! 

さて、bashって何?っていう方もいらっしゃると思います。正しい答えではないんですが、超噛み砕いた言い方をすれば、

「ガチ勢が使ってる黒窓*1を使うこと

くらいに思っておけばいいのでは?と思います。mac, linuxならterminal、windowsならコマンドプロンプト(最近はpowershell?)ですね。こんな感じのやつです↓

f:id:sumtat:20180924221516p:plain

あー、もう見るだけで無理。こういうのが嫌だからKNIMEみたいなフローツールを使ってるのに…。という方も多くいるのではないかと思います。

そう言わずに、ちょっとだけ使ってみてください!難しいやつは難しい(当たり前)だけど、簡単なやつはめっちゃ便利ですから! 

今回は、新しいフォルダでも作ってみましょう。

*1:デザインのカスタマイズによっては黒ではないこともあります。

続きを読む

【KNIME】メモリが足りない…。ちょっと待って!がっかりするその前に!

みなさん、お元気ですか。

私は、ちょっと用事があって、昨日は久しぶりに都内に出かけました。田舎暮らしが長くなってきたせいなのか、単純に頭が老化しているのかはわかりませんが、

「都心の景観は、情報量が多い!」と感じました。

学生の頃は、都内で暮らしていました。そんなこと考えたことなかったんですよね。田舎からの"おのぼりさん"だったわけですが、あんまりこういう感覚を持ったことはなかったんですよね。やっぱり年のせいですかね。

 さて先日、KNIMEフロー内でのエラー回避について、1例をあげて記事を書きました。

記事を投稿した後、その他に予定外の何かでフローが止まってがっかりする場面ってないかなーと考えていたら、1つ紹介しておくと良さそうな事柄がありました。それはKNIMEのメモリ不足問題です。

そうなんです。KNIMEは結構メモリを食うんです!

f:id:sumtat:20180624155356p:plain

なので、重めの処理・loopの多い処理などをしていると、「おいおい旦那、もうメモリがいっぱいだぜ。悪いんだけど、もう働けねぇや」と言ってKNIMEが止まっちゃうことがあります。

その対応として

  1. ちょっとメモリ不足になりにくくする!
  2. メモリ不足になる前に気がつけるようにする!

の2つについて紹介します。

 

続きを読む

【KNIME】ノード紹介:Try, Catch Errors 〜折角流した処理がエラーで止まるのを回避する〜

みなさん、いかがお過ごしですか?

はてなブログには、どのくらいのページビューがあったのかを見ることができる機能があります。なんだか最近、ちょっとずつアクセスが増えているようです。

嬉しいので、もっと色々と更新したいのですが、今年度から担当になった新しい業務を覚えるのが大変で、なかなか記事を書けずにいます。*1

ちょっとずつですが書き続けますので、気長にお付き合いいただければ幸いです。

 

さて、今回はKNIMEのお話です。

f:id:sumtat:20180621232917p:plain

ちょっと使い方に慣れて色々なことをフロー化していくと、「よーし、今日はこのフローを流して帰ろう!明日には終わってるだろから、朝になったら結果を見よう!」みたいなことがあると思います。

で、朝になってみたら

「うわー、途中でError吐いて、とまっとるやんけ」

みたいな、残念なことになってる…。

あるあるですよね!

なるべく堅牢なフローにするにはエラー対策は結構重要だと思います。そこで、今回はエラー回避に役立つTryとCatch Errorノードを紹介したいと思います。*2

*1:とはいうものの、今回のように更新していると、そんな暇があったら仕事を身につけろ・勉強しろ!などと叱咤激励を受けることもありそうですがね。別に仕事中にブログ書いてるわけじゃないんで許してくださいね。

*2:単純な例題が何かないかなーと考えても、なかなか出てこなくて記事を書くのに時間がかかりました。エラーを吐くケースを想像しようとしても中々出てこなかったりするので、実際の運用の際には、どこにエラーの可能性が潜んでいるかをよーく考えないといけないですね。 

続きを読む

第7回ケモインフォマティクス若手の会に行ってきました!

みなさん、こんにちは。

今回はKNIMEや、その他ツールの話はないです。ただの雑記。

先週のことですが、第7回ケモインフォマティクス若手の会に参加してきました!

f:id:sumtat:20180529221533p:plain

f:id:sumtat:20180529221600p:plain

f:id:sumtat:20180529221622p:plain

 私は若手とはお世辞にも言えない年齢ですが、"超ど素人" = "若手"と勝手に解釈して参加することにしてみました!

 共感できるタイプ・できないタイプがいると思いますが、まあそれは不安でしたよ。残念ながら私は、あんまりおしゃべりが上手な方ではないですし、若さもない・ケモインフォの知識もない…。社内でも、お前みたいなおっさんが未経験分野の担当になって何の役に立つ?な空気を感じることもあります。確かに一理あると思います。

 でも、だからこそ、ビビらずに外の世界に触れて、少しでもレベルアップしなくてはと思い参加を決めたわけです。

行って良かった!とても良い会だった!

 実に語彙不足な感想ですが、とても良い会だと思いました。お偉方・学会の自己満足のために、高圧的な感じで催されるものではなく、運営スタッフの方々が、地道に温めてきた感じの伝わる会でした。またDeNAさんのサポートも大きですね。

 実際のところ、なんだかよくわからない部分もありましたが、初学者でもわかるように噛み砕いた説明・講演を皆様が心がけてくださっていたり、また素人質問も遠慮なくできる雰囲気で、大変有り難かったです。*1

 懇親会では、いろんな方とお話ししたり、名刺の交換等させて頂きました。有難うございました。またこういう機会があれば、積極的に参加していきたいと思わせてくれる会でした!

*1:素人質問というと、"相手をボコボコにする前置き"みたいな感じでとらえられることがあるようですが、ここでの意味はそういうものではないです。「おいおい、その程度のこと質問してんじゃねーよ」みたいな強張った空気は流れていないという意味です。

【随時更新?】当ブログタイトル一覧 〜ブログの情報取得もKNIMEでやるよ〜

みなさまこんにちは。

先日、にほんごであそぼ(NHK)で草枕をとりあげていました。

に働けばかどが立つ。

じょうさおさせば流される。

意地をとおせば窮屈きゅうくつだ。

とかくに人の世は住みにくい。

(青空文庫より)

有名な冒頭部分ですね。日々のストレス、 大型連休ですっきりさせたいものです。

 

さてさて、当ブログですが、アクセス解析(はてなブログの機能)を見る限り、100~200PV/日くらいのアクセスがあるようです。ありがたいことです。折角多くの方に見ていただいているので、内容をまとめて見ることにしました。経緯はこんな感じ↓

f:id:sumtat:20180503002750p:plain

ですが、ただまとめても面白くないので、KNIMEを使って当ブログのタイトル一覧を作ってみました。タイトルは当該記事のポイントを表している(はず)なので、このテーブルは簡易的な"まとめ"と呼べるのでは?と思います。*1

title URL
テスト http://sumtat.hatenablog.com/entry/2017/07/20/132123
データは前処理が9割? ~KNIMEとそのインストール~ http://sumtat.hatenablog.com/entry/2017/07/21/230317
KNIMEをフル装備化(無課金) http://sumtat.hatenablog.com/entry/2017/07/22/220723
【超入門(1/3)】KNIMEの使い方 〜エクセルファイルを読んでみよう(Excel Reader)〜 http://sumtat.hatenablog.com/entry/2017/07/23/161906
【超入門(2/3)】KNIMEの使い方 〜欲しい行だけ抽出しよう(Row filter, splitter)〜 http://sumtat.hatenablog.com/entry/2017/07/24/221257
【超入門(3/3)】KNIMEの使い方 〜エクセルファイルとして書き出してみよう(Excel Writer)〜 http://sumtat.hatenablog.com/entry/2017/07/25/223918
【KNIME】ノード紹介:Joiner 〜2つのテーブルをくっつけよう〜 http://sumtat.hatenablog.com/entry/2017/07/26/232316
【KNIME】ノード紹介:cell splitter 〜文字列を分割したい〜 http://sumtat.hatenablog.com/entry/2017/07/27/230632
【KNIME】ノード紹介:cell splitterとUngroupのコラボ 〜文字列を縦方向に分割したい〜 http://sumtat.hatenablog.com/entry/2017/07/28/220348
【メドケム】KNIMEで構造式を扱おう 〜sdfを読んでみよう〜 http://sumtat.hatenablog.com/entry/2017/07/28/232757
【KNIME】ノード紹介:GroupBy 〜同じものをひとまとめに〜 http://sumtat.hatenablog.com/entry/2017/07/29/224945
【KNIME】ノード紹介:String Manipulation 〜文字列変換の万能選手〜 http://sumtat.hatenablog.com/entry/2017/07/30/194126
エクセルファイルに構造式を入れたい http://sumtat.hatenablog.com/entry/2017/07/31/212058
【KNIME】ノード紹介:Transpose, Pivoting 〜表(table)の縦と横(行と列)を入れ替えたい〜 http://sumtat.hatenablog.com/entry/2017/08/01/222116
KNIMEでChemdrawファイルを読みたい 〜 Chemical Structures File Reader〜  http://sumtat.hatenablog.com/entry/2017/08/02/213444
【KNIME】ノード紹介:Column Rename 〜カラム名を変更したい〜 http://sumtat.hatenablog.com/entry/2017/08/03/215824
【KNIME】ノード紹介:Regex Split 〜文字列を分割したい part 2〜 http://sumtat.hatenablog.com/entry/2017/08/04/234705
【KNIME】ノード紹介:Value Counter 〜重複データを探せ〜 http://sumtat.hatenablog.com/entry/2017/08/05/230217
KNIMEで構造検索をしよう http://sumtat.hatenablog.com/entry/2017/08/06/235018
【メドケム】KNIMEでリガンド効率を計算するよ 〜言い換えれば、ただの四則演算〜 http://sumtat.hatenablog.com/entry/2017/08/07/234207
【KNIME】ノード紹介:concatenate 〜複数のテーブルをとにかく纏める〜 http://sumtat.hatenablog.com/entry/2017/08/09/042620
【KNIME】ノード紹介:Missing Value 〜欠損値を処理しよう〜 http://sumtat.hatenablog.com/entry/2017/08/09/230018
【KNIME】ノード紹介:Nominal Value Row Filter 〜欲しいカテゴリのrowを抽出したい〜 http://sumtat.hatenablog.com/entry/2017/08/11/232215
【超入門】KNIMEで変数を使うには 〜今日の日付をエクセルのシート名にして書き出してみよう〜 http://sumtat.hatenablog.com/entry/2017/08/13/094121
【KNIME】小ネタ:変数受け渡しに使う"赤線"の活用法 http://sumtat.hatenablog.com/entry/2017/08/14/081822
【超入門】Loopを回せ! 〜KNIMEを使って複数のファイルを一気に読んでみよう〜 http://sumtat.hatenablog.com/entry/2017/08/15/072039
【KNIME】小ネタ:** to variableノードを使わない変数の作り方 http://sumtat.hatenablog.com/entry/2017/08/16/133612
【KNIME】ノード紹介:Group Loop Start 〜カテゴリごとに処理したい〜 http://sumtat.hatenablog.com/entry/2017/08/19/073727
【KNIME】ノード紹介:Parallel Chunk Start 〜多重影分身するってばよ〜 http://sumtat.hatenablog.com/entry/2017/08/23/000830
Neural Network Consoleで活性値予測をしてみた http://sumtat.hatenablog.com/entry/2017/08/26/194049
KNIMEで明日の天気を調べよう! 〜REST APIの活用〜 http://sumtat.hatenablog.com/entry/2017/09/02/160249
KNIMEを使ってChEMBLから情報をとってくるンゴ http://sumtat.hatenablog.com/entry/2017/09/10/203510
KNIMEで化合物をクラスタリング&可視化してみよう http://sumtat.hatenablog.com/entry/2017/09/18/095508
InfocomさんがKNIME関連のページを更新したよ! http://sumtat.hatenablog.com/entry/2017/09/23/225041
【KNIME】ノード紹介:Copy/Move Files 〜一括でファイル名を変換しよう〜 http://sumtat.hatenablog.com/entry/2017/10/01/232419
"あ"さんにコメントを頂きました 〜オートフィル(excel)の実現〜 http://sumtat.hatenablog.com/entry/2017/10/12/233851
10年の歳月 http://sumtat.hatenablog.com/entry/2017/11/03/232109
家族が増えました http://sumtat.hatenablog.com/entry/2017/12/25/001558
あけましておめでとうございます&本のおすすめ http://sumtat.hatenablog.com/entry/2018/01/02/164116
【KNIME】お手軽に機械学習してみませんか? 〜random_forest_regression〜 http://sumtat.hatenablog.com/entry/2018/01/27/172253
【KNIME 】scikit-learnをKNIMEで動かすよ 〜t-SNEを題材に〜 http://sumtat.hatenablog.com/entry/2018/02/22/000256
【初心者レビュー】PyCharm使ったら、勉強が捗る!ちょいハードル下がる! http://sumtat.hatenablog.com/entry/2018/03/07/005826
【KNIME 】Excel?のMROUND関数と同じことをKNIMEでやってみよう! http://sumtat.hatenablog.com/entry/2018/04/04/233618

テーブルを作ったフローについて解説を書きました。

興味のある方はご覧ください!

*1:と思ったが、実際作って見たらダサかった。もう少し見やすくした方がいいですね。反省しています。

続きを読む

【KNIME 】Excel?のMROUND関数と同じことをKNIMEでやってみよう!

新年度がスタートしましたね!

私はこの春から、新しいことに挑戦することになりました。これまでは薬品を混ぜたり、フラスコや試験管を触ったりする仕事をしていたのですが(いらすとやイメージだとこんな感じ↓)

f:id:sumtat:20180404222235p:plain

4月からは、computerを使って化学する世界で頑張ることになりました。in silicoとかケモインフォマティクスとか、そういう感じのワード紹介される分野です。ゼロからのスタートなので不安も多いですが頑張ろうと思います。

同業?の方々との繋がりができることも期待しています。*1

 

さて、今日"Ari"さんからコメントを頂きました。

時間をキーに2つのテーブルを結合させようとしているのですが、片方のテーブルは5分きざみ、もう片方は30分きざみとなっています。時間をまるめる、mroundのような機能をご存知でしたら教えてください。

 ちょっと実際の状況がイメージできなかったのですが、

f:id:sumtat:20180404223902p:plain
f:id:sumtat:20180404223916p:plain
連結前のテーブル

上のような2つのテーブルを

f:id:sumtat:20180404224213p:plain

こんな感じにしたいというようなことでしょうか?的外れだったらごめんなさい!

これをExcelのMROUND関数を使った風にして作成してみます。

*1:製薬会社の合成は、社外の方との横の繋がりを作りにくいんですよね。どうしても仕事の話をしようとすると構造式が無いとなかなか深い話はできないですが、構造出しちゃうとターゲットや社内の状況がダダ漏れになっちゃう。

続きを読む

【初心者レビュー】PyCharm使ったら、勉強が捗る!ちょいハードル下がる!

こんにちは。花粉が飛んでいますね。

 

さて、KNIMEの使い方を主な題材としている本ブログですが、前回

こんな記事を書いてみました。

記事内でも触れましたが、私プログラミングとか全然やったことないです。なので、pythonコード書く部分は結構時間かかりました。既存ライブラリを使ってるだけなので特に頭を使うこともなく簡単なはずなんですが、

  • お作法がわからん場合が多い
  • ライブラリ名、関数(class)名を知らない

など低経験値が引き起こす問題が結構あります。

で、少しずつ慣れていこう!と思って、もう一度復習してたんですが、

qiita.com

こんな記事が目について、PyCharmをインストールしみました。右も左もわからない私に、"最強"とかキャッチーなフレーズ。食いついてしまいました。

 

結果、入れてよかったです。

前回のtSNEのコードは何も見なくてもかけるようになりました。

インストールの方法とかは、色々と記事がありましたので割愛しますが、ど素人の私が覚えたいくつかの使い方を紹介します。

続きを読む