非プログラマーのためのインフォマティクス入門。(仮)

非プログラマーがインフォマティクスについて勉強したことを記録します。主にKNIMEというソフトを使用しています。

非プログラマーのためのインフォマティクス入門。(仮)

【2019ご挨拶】あけましておめでとうございます

あけましておめでとうございます

みなさま、いかがお過ごしでしょうか?ばたばたしながらも、なんとか新年を無事に迎えることができました。

ちなみに2018/01/01 00:00は息子のオムツ交換をしていたのですが、2019/01/01 00:00は、眠っていた娘(3)、息子(1)が3分前から同時に泣き出し、夫婦ともに子供を抱っこして寝かしつけるという状況で迎えることになった次第です…。

2018の初記事では何書いていたかなーと振り返ってみると、まずアクセス数について書いていました。で、今年も同じように振り返ってみることにします。

f:id:sumtat:20190105150836p:plain

2018は1年間でおよそ58,000回のアクセスをしていただいたようです(2018/01/01まで、約16,000回)。均してしまえば、約160回/day。随分多くの方に目を通してもらっているなぁという印象です。*1

更新のペースは激減しているのですが、ブログのメインにしているKNIMEの使い方に関しては、今後もなるべく広い分野で使えるような内容を中心に記事にしていこうと思っていますので宜しくお願いいたします。加えて、今年は雑記などもちょこちょこ書いていこうかなと思っています。

年末年始にかけての雑記

f:id:sumtat:20190105161930p:plain

「自分へのクリスマスプレゼント・お年玉」とか「ある程度投資しないとスキルは身につかない」とか適当な言い訳を自分にして、お買い物をいくつかしました。

ipad pro 11 inch + 周辺諸々

私はタブッレット端末を持っていなくて、使ってみたくなりました。最近では、若い方の間ではPC離れも進んでいるとかなんとか。ということで、タブレット(OSを含む)でどんなことができるのか、経験しておきたくて買ってしまいました。 

Apple 11インチ iPad Pro Wi-Fiモデル 256GB スペースグレイ MTXQ2J/A

Apple 11インチ iPad Pro Wi-Fiモデル 256GB スペースグレイ MTXQ2J/A

 

 私はシルバーにしました。おまけにapple pencil 2とsmart keyboard folioも書いました。論文読んだりするのに結構重宝しています。あとは、子供に動画を見せるとき*2。電車通勤だったらもっと使ってるだろうなー。まだまだ活用しきれていませんが、最近は3つのアプリをいれて楽しんでいます。

Juno
Juno for Jupyter

Juno for Jupyter

  • Rational Matter
  • 仕事効率化
  • 無料

 jupyter notebookがipad上で使えます。自分でserverをたててアクセスすることもできるようですが、私のような素人が勉強のために使うにはAzure Notebooksで十分。junoを有償版にする必要がありますが、アプリ内でazure notebooks作って接続すれば勉強になります。クラウド環境を気楽に使えるくらいの感覚になっていかないとダメなんでしょうね。他にもGoogle ColaboratoryやPaiza Cloudなど、無料で環境を提供してくれるサービスもあり、時代は変わってきているなーと強く感じます。

pythonista3
Pythonista 3

Pythonista 3

  • omz:software
  • 仕事効率化
  • ¥1,200

ipad上でpythonが実行できるアプリです。stashってのを後から入れれば(興味があればググってね)、シェルもどきが使えて、pipで色々インストールできます。詳しくはわからないのですが、python以外の言語から成るライブラリは動かないみたいで、pandas(やRDKit)は動きません。この辺りを勉強したかったので、ちょっと残念です。でも、ローカル環境でコードの作成・実行ができるので良い勉強になります。errorやwarningの表示も非常に丁寧でわかりやすいです。 

TeamViewer 
TeamViewer: Remote Control

TeamViewer: Remote Control

  • TeamViewer
  • 仕事効率化
  • 無料

オンライン環境下、他のマシンにリモートデスクトップでアクセスすることが簡単にできるアプリです。*3自宅に眠っていたポンコツマシンを掘り出してlinuxをインストールしたものに、ipadからリモート接続できるようにしました。こういう技術に関してもgoogle リモートデスクトップなど、他のサービスが乱立しています。セキュリティには注意を払いながら、身近ものとして使っていければと思っています。しかし、google (GAFAのが適切かな?)はすげーなーと思います。

ここらへんのアプリを使っていると、すこし不便だなーと思うのはsmart keyboardです。普段使いには大変満足なのですが、ESCがないことだけはちょっと不便です。だってviとか使うときに必要じゃないですか。このことに関してはwebでも多く言われているようです。この辺の作りからも感じられるのですが、

【修正&追記:vimはESCなくても全然いけるわ。ctrl+c使えばいいじゃんね。っていうか、こっちの方が指が遠くなくていい感じだし!】

PCとタブレット。それぞれがどのくらい歩み寄っていいて、どの辺が得意・不得意なのかはやっぱり触ってみるとよくわかります。楽しいですよ! 

 
Happy Hacking Keyboard BT 

もう一つ浪費してしましました。

f:id:sumtat:20190105173901j:plain

 

PFU Happy Hacking Keyboard Professional BT 日本語配列/白 PD-KB620W

PFU Happy Hacking Keyboard Professional BT 日本語配列/白 PD-KB620W

 

お高いキーボードです。そんなにキーボード叩きまくってるわけじゃないので、豚に真珠と言われちゃうかもしれませんが、マシンに向かう動機付けの一つとして。

「○○がこうだから、△△で良い」みたいな、ちゃんとしたことは書けませんが、実際に触ってみると打ち心地はとても良いです。適当な指運びをしていましたが、なんか綺麗にタイピングできるようになりたいなーと感じさせられました。

なんかかっこいいので、レベルが上がったような気がしてしまいます(アホ)。本当にレベルが上がるように今年も頑張っていこうと思います。

 

今回はお買い物ログになってしまいました。次回は何を書こうかなぁ。KNIMEについて書くなら"quick form"の使い方について書こうかと思っています(予定*4。)

それでは、今年も宜しくお願いいたします!

コメントもお待ちしております!

*1:年明けから嫌な書き方をすれば、勤務先で「無駄な報告書だなー」とか思いながら書いてる文書なんて、こんなに読んでもらえませんからね。形骸化しているというか、管理者が数値に落とせる視点でしか考えていないというか。

*2:動画は基本的にテレビにミラーリングして見せていますが、外出先で最後の砦として動画を使うとき、スマホで見せると癖になりそうで。一応タブレットは特別なものですよー的な感じで使ってます

*3:操作される側にもインストールが必要です。

*4:未定

【KNIME】KNIMEのインストール 2018 ver.

 皆さんお元気ですか?このブログを書き始めて1年ちょっとが経ちます。主にKNIMEというツールの基本的な使い方を記事にしています。

 私がKNIMEに触れ始めた頃は、google先生に聞いても国内ではあんまりユーザーがいるような気がしないし、種々の情報もgetできなかったように記憶しています。が、最近ちょっとずつユーザーが増えてきている気がします。webやSNSで調べると、ちょいちょいhitするし。最近驚いたのは、"なんか、本がでてるっぽい"ってこと!  

AI、IoTを成功に導く データ前処理の極意

AI、IoTを成功に導く データ前処理の極意

 

日立。大きな会社だー!

 目次を見ると"付録 データ分析ソフト「KNIME」の使い方"って書いてあるんだよね。KNIMEの使い方に関しては、洋書はいくつかあったけど(KNIME Beginner's Luckとか)、和書では見たことなったです。*1

「こんなに大きな組織からもKNIMEに関する情報を提供するになってきている…。」

 なんか状況が変わってきたなーと感じるとともに、ユーザーが増えてきているなら、少しでも自分の知ってることを、このブログを通して共有できればいいなと考えています。

で、今回はKNIMEのinstallに関して2018版を書いてみようと思います。

*1:日立の方、ごめんなさい!実はこの本読んだわけじゃないんです!amazonからのsuggestがきたから、ちょっと商品紹介を見ただけなんです。Lumada?に組み込まれてる??などの記事がいくつかhitしましたが、社内でも積極的にKNIME使ってたりするのかなぁ。

続きを読む

【KNIME】バッシュをはいて、ちょっと高く跳んでみようぜ!

みなさま、お久しぶりです。前回の更新から3ヶ月。新しい仕事を覚えたりするのに頭を使ったり、イヤイヤ期真っ最中の娘(2)・諸々活発になってきた息子(0)に手一杯で、なかなかブログ更新ができないですね。

まあ、お金儲けで書いてるわけじゃないですし、のんびりと続けていきます。

 

さて、今回はバッシュの話。

f:id:sumtat:20180924220056p:plain

靴の話ではないんです。"bash"を使って、もう少し色んなことをしてみませんか?というご紹介です。KNIMEからね! 

さて、bashって何?っていう方もいらっしゃると思います。正しい答えではないんですが、超噛み砕いた言い方をすれば、

「ガチ勢が使ってる黒窓*1を使うこと

くらいに思っておけばいいのでは?と思います。mac, linuxならterminal、windowsならコマンドプロンプト(最近はpowershell?)ですね。こんな感じのやつです↓

f:id:sumtat:20180924221516p:plain

あー、もう見るだけで無理。こういうのが嫌だからKNIMEみたいなフローツールを使ってるのに…。という方も多くいるのではないかと思います。

そう言わずに、ちょっとだけ使ってみてください!難しいやつは難しい(当たり前)だけど、簡単なやつはめっちゃ便利ですから! 

今回は、新しいフォルダでも作ってみましょう。

*1:デザインのカスタマイズによっては黒ではないこともあります。

続きを読む

【KNIME】メモリが足りない…。ちょっと待って!がっかりするその前に!

みなさん、お元気ですか。

私は、ちょっと用事があって、昨日は久しぶりに都内に出かけました。田舎暮らしが長くなってきたせいなのか、単純に頭が老化しているのかはわかりませんが、

「都心の景観は、情報量が多い!」と感じました。

学生の頃は、都内で暮らしていました。そんなこと考えたことなかったんですよね。田舎からの"おのぼりさん"だったわけですが、あんまりこういう感覚を持ったことはなかったんですよね。やっぱり年のせいですかね。

 さて先日、KNIMEフロー内でのエラー回避について、1例をあげて記事を書きました。

記事を投稿した後、その他に予定外の何かでフローが止まってがっかりする場面ってないかなーと考えていたら、1つ紹介しておくと良さそうな事柄がありました。それはKNIMEのメモリ不足問題です。

そうなんです。KNIMEは結構メモリを食うんです!

f:id:sumtat:20180624155356p:plain

なので、重めの処理・loopの多い処理などをしていると、「おいおい旦那、もうメモリがいっぱいだぜ。悪いんだけど、もう働けねぇや」と言ってKNIMEが止まっちゃうことがあります。

その対応として

  1. ちょっとメモリ不足になりにくくする!
  2. メモリ不足になる前に気がつけるようにする!

の2つについて紹介します。

 

続きを読む

【KNIME】ノード紹介:Try, Catch Errors 〜折角流した処理がエラーで止まるのを回避する〜

みなさん、いかがお過ごしですか?

はてなブログには、どのくらいのページビューがあったのかを見ることができる機能があります。なんだか最近、ちょっとずつアクセスが増えているようです。

嬉しいので、もっと色々と更新したいのですが、今年度から担当になった新しい業務を覚えるのが大変で、なかなか記事を書けずにいます。*1

ちょっとずつですが書き続けますので、気長にお付き合いいただければ幸いです。

 

さて、今回はKNIMEのお話です。

f:id:sumtat:20180621232917p:plain

ちょっと使い方に慣れて色々なことをフロー化していくと、「よーし、今日はこのフローを流して帰ろう!明日には終わってるだろから、朝になったら結果を見よう!」みたいなことがあると思います。

で、朝になってみたら

「うわー、途中でError吐いて、とまっとるやんけ」

みたいな、残念なことになってる…。

あるあるですよね!

なるべく堅牢なフローにするにはエラー対策は結構重要だと思います。そこで、今回はエラー回避に役立つTryとCatch Errorノードを紹介したいと思います。*2

*1:とはいうものの、今回のように更新していると、そんな暇があったら仕事を身につけろ・勉強しろ!などと叱咤激励を受けることもありそうですがね。別に仕事中にブログ書いてるわけじゃないんで許してくださいね。

*2:単純な例題が何かないかなーと考えても、なかなか出てこなくて記事を書くのに時間がかかりました。エラーを吐くケースを想像しようとしても中々出てこなかったりするので、実際の運用の際には、どこにエラーの可能性が潜んでいるかをよーく考えないといけないですね。 

続きを読む

第7回ケモインフォマティクス若手の会に行ってきました!

みなさん、こんにちは。

今回はKNIMEや、その他ツールの話はないです。ただの雑記。

先週のことですが、第7回ケモインフォマティクス若手の会に参加してきました!

f:id:sumtat:20180529221533p:plain

f:id:sumtat:20180529221600p:plain

f:id:sumtat:20180529221622p:plain

 私は若手とはお世辞にも言えない年齢ですが、"超ど素人" = "若手"と勝手に解釈して参加することにしてみました!

 共感できるタイプ・できないタイプがいると思いますが、まあそれは不安でしたよ。残念ながら私は、あんまりおしゃべりが上手な方ではないですし、若さもない・ケモインフォの知識もない…。社内でも、お前みたいなおっさんが未経験分野の担当になって何の役に立つ?な空気を感じることもあります。確かに一理あると思います。

 でも、だからこそ、ビビらずに外の世界に触れて、少しでもレベルアップしなくてはと思い参加を決めたわけです。

行って良かった!とても良い会だった!

 実に語彙不足な感想ですが、とても良い会だと思いました。お偉方・学会の自己満足のために、高圧的な感じで催されるものではなく、運営スタッフの方々が、地道に温めてきた感じの伝わる会でした。またDeNAさんのサポートも大きですね。

 実際のところ、なんだかよくわからない部分もありましたが、初学者でもわかるように噛み砕いた説明・講演を皆様が心がけてくださっていたり、また素人質問も遠慮なくできる雰囲気で、大変有り難かったです。*1

 懇親会では、いろんな方とお話ししたり、名刺の交換等させて頂きました。有難うございました。またこういう機会があれば、積極的に参加していきたいと思わせてくれる会でした!

*1:素人質問というと、"相手をボコボコにする前置き"みたいな感じでとらえられることがあるようですが、ここでの意味はそういうものではないです。「おいおい、その程度のこと質問してんじゃねーよ」みたいな強張った空気は流れていないという意味です。

【随時更新?】当ブログタイトル一覧 〜ブログの情報取得もKNIMEでやるよ〜

みなさまこんにちは。

先日、にほんごであそぼ(NHK)で草枕をとりあげていました。

に働けばかどが立つ。

じょうさおさせば流される。

意地をとおせば窮屈きゅうくつだ。

とかくに人の世は住みにくい。

(青空文庫より)

有名な冒頭部分ですね。日々のストレス、 大型連休ですっきりさせたいものです。

 

さてさて、当ブログですが、アクセス解析(はてなブログの機能)を見る限り、100~200PV/日くらいのアクセスがあるようです。ありがたいことです。折角多くの方に見ていただいているので、内容をまとめて見ることにしました。経緯はこんな感じ↓

f:id:sumtat:20180503002750p:plain

ですが、ただまとめても面白くないので、KNIMEを使って当ブログのタイトル一覧を作ってみました。タイトルは当該記事のポイントを表している(はず)なので、このテーブルは簡易的な"まとめ"と呼べるのでは?と思います。*1

title URL
テスト http://sumtat.hatenablog.com/entry/2017/07/20/132123
データは前処理が9割? ~KNIMEとそのインストール~ http://sumtat.hatenablog.com/entry/2017/07/21/230317
KNIMEをフル装備化(無課金) http://sumtat.hatenablog.com/entry/2017/07/22/220723
【超入門(1/3)】KNIMEの使い方 〜エクセルファイルを読んでみよう(Excel Reader)〜 http://sumtat.hatenablog.com/entry/2017/07/23/161906
【超入門(2/3)】KNIMEの使い方 〜欲しい行だけ抽出しよう(Row filter, splitter)〜 http://sumtat.hatenablog.com/entry/2017/07/24/221257
【超入門(3/3)】KNIMEの使い方 〜エクセルファイルとして書き出してみよう(Excel Writer)〜 http://sumtat.hatenablog.com/entry/2017/07/25/223918
【KNIME】ノード紹介:Joiner 〜2つのテーブルをくっつけよう〜 http://sumtat.hatenablog.com/entry/2017/07/26/232316
【KNIME】ノード紹介:cell splitter 〜文字列を分割したい〜 http://sumtat.hatenablog.com/entry/2017/07/27/230632
【KNIME】ノード紹介:cell splitterとUngroupのコラボ 〜文字列を縦方向に分割したい〜 http://sumtat.hatenablog.com/entry/2017/07/28/220348
【メドケム】KNIMEで構造式を扱おう 〜sdfを読んでみよう〜 http://sumtat.hatenablog.com/entry/2017/07/28/232757
【KNIME】ノード紹介:GroupBy 〜同じものをひとまとめに〜 http://sumtat.hatenablog.com/entry/2017/07/29/224945
【KNIME】ノード紹介:String Manipulation 〜文字列変換の万能選手〜 http://sumtat.hatenablog.com/entry/2017/07/30/194126
エクセルファイルに構造式を入れたい http://sumtat.hatenablog.com/entry/2017/07/31/212058
【KNIME】ノード紹介:Transpose, Pivoting 〜表(table)の縦と横(行と列)を入れ替えたい〜 http://sumtat.hatenablog.com/entry/2017/08/01/222116
KNIMEでChemdrawファイルを読みたい 〜 Chemical Structures File Reader〜  http://sumtat.hatenablog.com/entry/2017/08/02/213444
【KNIME】ノード紹介:Column Rename 〜カラム名を変更したい〜 http://sumtat.hatenablog.com/entry/2017/08/03/215824
【KNIME】ノード紹介:Regex Split 〜文字列を分割したい part 2〜 http://sumtat.hatenablog.com/entry/2017/08/04/234705
【KNIME】ノード紹介:Value Counter 〜重複データを探せ〜 http://sumtat.hatenablog.com/entry/2017/08/05/230217
KNIMEで構造検索をしよう http://sumtat.hatenablog.com/entry/2017/08/06/235018
【メドケム】KNIMEでリガンド効率を計算するよ 〜言い換えれば、ただの四則演算〜 http://sumtat.hatenablog.com/entry/2017/08/07/234207
【KNIME】ノード紹介:concatenate 〜複数のテーブルをとにかく纏める〜 http://sumtat.hatenablog.com/entry/2017/08/09/042620
【KNIME】ノード紹介:Missing Value 〜欠損値を処理しよう〜 http://sumtat.hatenablog.com/entry/2017/08/09/230018
【KNIME】ノード紹介:Nominal Value Row Filter 〜欲しいカテゴリのrowを抽出したい〜 http://sumtat.hatenablog.com/entry/2017/08/11/232215
【超入門】KNIMEで変数を使うには 〜今日の日付をエクセルのシート名にして書き出してみよう〜 http://sumtat.hatenablog.com/entry/2017/08/13/094121
【KNIME】小ネタ:変数受け渡しに使う"赤線"の活用法 http://sumtat.hatenablog.com/entry/2017/08/14/081822
【超入門】Loopを回せ! 〜KNIMEを使って複数のファイルを一気に読んでみよう〜 http://sumtat.hatenablog.com/entry/2017/08/15/072039
【KNIME】小ネタ:** to variableノードを使わない変数の作り方 http://sumtat.hatenablog.com/entry/2017/08/16/133612
【KNIME】ノード紹介:Group Loop Start 〜カテゴリごとに処理したい〜 http://sumtat.hatenablog.com/entry/2017/08/19/073727
【KNIME】ノード紹介:Parallel Chunk Start 〜多重影分身するってばよ〜 http://sumtat.hatenablog.com/entry/2017/08/23/000830
Neural Network Consoleで活性値予測をしてみた http://sumtat.hatenablog.com/entry/2017/08/26/194049
KNIMEで明日の天気を調べよう! 〜REST APIの活用〜 http://sumtat.hatenablog.com/entry/2017/09/02/160249
KNIMEを使ってChEMBLから情報をとってくるンゴ http://sumtat.hatenablog.com/entry/2017/09/10/203510
KNIMEで化合物をクラスタリング&可視化してみよう http://sumtat.hatenablog.com/entry/2017/09/18/095508
InfocomさんがKNIME関連のページを更新したよ! http://sumtat.hatenablog.com/entry/2017/09/23/225041
【KNIME】ノード紹介:Copy/Move Files 〜一括でファイル名を変換しよう〜 http://sumtat.hatenablog.com/entry/2017/10/01/232419
"あ"さんにコメントを頂きました 〜オートフィル(excel)の実現〜 http://sumtat.hatenablog.com/entry/2017/10/12/233851
10年の歳月 http://sumtat.hatenablog.com/entry/2017/11/03/232109
家族が増えました http://sumtat.hatenablog.com/entry/2017/12/25/001558
あけましておめでとうございます&本のおすすめ http://sumtat.hatenablog.com/entry/2018/01/02/164116
【KNIME】お手軽に機械学習してみませんか? 〜random_forest_regression〜 http://sumtat.hatenablog.com/entry/2018/01/27/172253
【KNIME 】scikit-learnをKNIMEで動かすよ 〜t-SNEを題材に〜 http://sumtat.hatenablog.com/entry/2018/02/22/000256
【初心者レビュー】PyCharm使ったら、勉強が捗る!ちょいハードル下がる! http://sumtat.hatenablog.com/entry/2018/03/07/005826
【KNIME 】Excel?のMROUND関数と同じことをKNIMEでやってみよう! http://sumtat.hatenablog.com/entry/2018/04/04/233618

テーブルを作ったフローについて解説を書きました。

興味のある方はご覧ください!

*1:と思ったが、実際作って見たらダサかった。もう少し見やすくした方がいいですね。反省しています。

続きを読む