非プログラマーのためのインフォマティクス入門。(仮)

非プログラマーがインフォマティクスについて勉強したことを記録します。主にKNIMEというソフトを使用しています。

非プログラマーのためのインフォマティクス入門。(仮)

【KNIME】気休め程度に体裁を整えたエクセルファイルを吐き出す

 4ヶ月ぶりの更新です。新年度を迎え、皆様はいかがお過ごしでしょうか?進学, 入社された方、部署の異動があった方などもいらっしゃるかと思います。周囲の環境が変わると、様々な要因から体調を崩してしまうこともあると思います。まずは健康に毎日を過ごしていきたいものですね。

 私は、ストレス解消の為に(?)最近中古マシンを買いました。hpのz420というワークステーション。送料込みで34kでした。これにcentos7を入れてオモチャにしています。condaやdocker入れたり、nvidiaのドライバ入れたり…。1年くらい前には思いつきもしないような事柄です。色々見ていると、最近ではconda activateが推奨なんですね。PATHもanacondaのbinに通すんじゃなくて、source conda.shにしときなよーみたいなことがCHANGELOGに書かれてたりして。物事の変化はとても速いなぁということと+documentはちゃんと読もうと感じた今日この頃です。

 で、この中古マシンにもKNIMEを導入したのですが、その時に「あれー、見たことないnodeがあるぞ」と思ったので、ちょっと触ってみました。

Continental (Community Nodes)

f:id:sumtat:20190414204546p:plain

https://www.knime.com/community/continental-nodes-for-knime

先月追加されたようです。使ってみたい場合は"File > Preferences > Install/Update > Available Software Sites"にhttp://update.knime.com/community-contributions/3.7がリストに入っている&Enabledになっていることを確認の上、"File > Install KNIME Extensions..."と進めていけばnodeをインストールできると思います。ピンポイントで入れたければ、検索窓に"continental"とか入れれば、ひっかかってくるはずです。

f:id:sumtat:20190414205410p:plain

さて、1点気が付いたのですが、mac版だと上手くインストールできないみたいです(2019/04/12)。理由はよくわからんです。win, linuxは導入できることを確認しました。

これで、どんなことをやってみるかというと

f:id:sumtat:20190414223338p:plain
f:id:sumtat:20190414223349p:plain
左図を右図みたいににする

ということです(office入れてないんで、キャプチャはLibreOfficeです)。では流れをささーっと紹介していきますねー。

続きを読む

【2019ご挨拶】あけましておめでとうございます

あけましておめでとうございます

みなさま、いかがお過ごしでしょうか?ばたばたしながらも、なんとか新年を無事に迎えることができました。

ちなみに2018/01/01 00:00は息子のオムツ交換をしていたのですが、2019/01/01 00:00は、眠っていた娘(3)、息子(1)が3分前から同時に泣き出し、夫婦ともに子供を抱っこして寝かしつけるという状況で迎えることになった次第です…。

2018の初記事では何書いていたかなーと振り返ってみると、まずアクセス数について書いていました。で、今年も同じように振り返ってみることにします。

f:id:sumtat:20190105150836p:plain

2018は1年間でおよそ58,000回のアクセスをしていただいたようです(2018/01/01まで、約16,000回)。均してしまえば、約160回/day。随分多くの方に目を通してもらっているなぁという印象です。*1

更新のペースは激減しているのですが、ブログのメインにしているKNIMEの使い方に関しては、今後もなるべく広い分野で使えるような内容を中心に記事にしていこうと思っていますので宜しくお願いいたします。加えて、今年は雑記などもちょこちょこ書いていこうかなと思っています。

年末年始にかけての雑記

f:id:sumtat:20190105161930p:plain

「自分へのクリスマスプレゼント・お年玉」とか「ある程度投資しないとスキルは身につかない」とか適当な言い訳を自分にして、お買い物をいくつかしました。

ipad pro 11 inch + 周辺諸々

私はタブッレット端末を持っていなくて、使ってみたくなりました。最近では、若い方の間ではPC離れも進んでいるとかなんとか。ということで、タブレット(OSを含む)でどんなことができるのか、経験しておきたくて買ってしまいました。 

Apple 11インチ iPad Pro Wi-Fiモデル 256GB スペースグレイ MTXQ2J/A

Apple 11インチ iPad Pro Wi-Fiモデル 256GB スペースグレイ MTXQ2J/A

 

 私はシルバーにしました。おまけにapple pencil 2とsmart keyboard folioも書いました。論文読んだりするのに結構重宝しています。あとは、子供に動画を見せるとき*2。電車通勤だったらもっと使ってるだろうなー。まだまだ活用しきれていませんが、最近は3つのアプリをいれて楽しんでいます。

Juno
Juno for Jupyter

Juno for Jupyter

  • Rational Matter
  • 仕事効率化
  • 無料

 jupyter notebookがipad上で使えます。自分でserverをたててアクセスすることもできるようですが、私のような素人が勉強のために使うにはAzure Notebooksで十分。junoを有償版にする必要がありますが、アプリ内でazure notebooks作って接続すれば勉強になります。クラウド環境を気楽に使えるくらいの感覚になっていかないとダメなんでしょうね。他にもGoogle ColaboratoryやPaiza Cloudなど、無料で環境を提供してくれるサービスもあり、時代は変わってきているなーと強く感じます。

pythonista3
Pythonista 3

Pythonista 3

  • omz:software
  • 仕事効率化
  • ¥1,200

ipad上でpythonが実行できるアプリです。stashってのを後から入れれば(興味があればググってね)、シェルもどきが使えて、pipで色々インストールできます。詳しくはわからないのですが、python以外の言語から成るライブラリは動かないみたいで、pandas(やRDKit)は動きません。この辺りを勉強したかったので、ちょっと残念です。でも、ローカル環境でコードの作成・実行ができるので良い勉強になります。errorやwarningの表示も非常に丁寧でわかりやすいです。 

TeamViewer 
TeamViewer: Remote Control

TeamViewer: Remote Control

  • TeamViewer
  • 仕事効率化
  • 無料

オンライン環境下、他のマシンにリモートデスクトップでアクセスすることが簡単にできるアプリです。*3自宅に眠っていたポンコツマシンを掘り出してlinuxをインストールしたものに、ipadからリモート接続できるようにしました。こういう技術に関してもgoogle リモートデスクトップなど、他のサービスが乱立しています。セキュリティには注意を払いながら、身近ものとして使っていければと思っています。しかし、google (GAFAのが適切かな?)はすげーなーと思います。

ここらへんのアプリを使っていると、すこし不便だなーと思うのはsmart keyboardです。普段使いには大変満足なのですが、ESCがないことだけはちょっと不便です。だってviとか使うときに必要じゃないですか。このことに関してはwebでも多く言われているようです。この辺の作りからも感じられるのですが、

【修正&追記:vimはESCなくても全然いけるわ。ctrl+c使えばいいじゃんね。っていうか、こっちの方が指が遠くなくていい感じだし!】

PCとタブレット。それぞれがどのくらい歩み寄っていいて、どの辺が得意・不得意なのかはやっぱり触ってみるとよくわかります。楽しいですよ! 

 
Happy Hacking Keyboard BT 

もう一つ浪費してしましました。

f:id:sumtat:20190105173901j:plain

 

PFU Happy Hacking Keyboard Professional BT 日本語配列/白 PD-KB620W

PFU Happy Hacking Keyboard Professional BT 日本語配列/白 PD-KB620W

 

お高いキーボードです。そんなにキーボード叩きまくってるわけじゃないので、豚に真珠と言われちゃうかもしれませんが、マシンに向かう動機付けの一つとして。

「○○がこうだから、△△で良い」みたいな、ちゃんとしたことは書けませんが、実際に触ってみると打ち心地はとても良いです。適当な指運びをしていましたが、なんか綺麗にタイピングできるようになりたいなーと感じさせられました。

なんかかっこいいので、レベルが上がったような気がしてしまいます(アホ)。本当にレベルが上がるように今年も頑張っていこうと思います。

 

今回はお買い物ログになってしまいました。次回は何を書こうかなぁ。KNIMEについて書くなら"quick form"の使い方について書こうかと思っています(予定*4。)

それでは、今年も宜しくお願いいたします!

コメントもお待ちしております!

*1:年明けから嫌な書き方をすれば、勤務先で「無駄な報告書だなー」とか思いながら書いてる文書なんて、こんなに読んでもらえませんからね。形骸化しているというか、管理者が数値に落とせる視点でしか考えていないというか。

*2:動画は基本的にテレビにミラーリングして見せていますが、外出先で最後の砦として動画を使うとき、スマホで見せると癖になりそうで。一応タブレットは特別なものですよー的な感じで使ってます

*3:操作される側にもインストールが必要です。

*4:未定

【KNIME】KNIMEのインストール 2018 ver.

 皆さんお元気ですか?このブログを書き始めて1年ちょっとが経ちます。主にKNIMEというツールの基本的な使い方を記事にしています。

 私がKNIMEに触れ始めた頃は、google先生に聞いても国内ではあんまりユーザーがいるような気がしないし、種々の情報もgetできなかったように記憶しています。が、最近ちょっとずつユーザーが増えてきている気がします。webやSNSで調べると、ちょいちょいhitするし。最近驚いたのは、"なんか、本がでてるっぽい"ってこと!  

AI、IoTを成功に導く データ前処理の極意

AI、IoTを成功に導く データ前処理の極意

 

日立。大きな会社だー!

 目次を見ると"付録 データ分析ソフト「KNIME」の使い方"って書いてあるんだよね。KNIMEの使い方に関しては、洋書はいくつかあったけど(KNIME Beginner's Luckとか)、和書では見たことなったです。*1

「こんなに大きな組織からもKNIMEに関する情報を提供するになってきている…。」

 なんか状況が変わってきたなーと感じるとともに、ユーザーが増えてきているなら、少しでも自分の知ってることを、このブログを通して共有できればいいなと考えています。

で、今回はKNIMEのinstallに関して2018版を書いてみようと思います。

*1:日立の方、ごめんなさい!実はこの本読んだわけじゃないんです!amazonからのsuggestがきたから、ちょっと商品紹介を見ただけなんです。Lumada?に組み込まれてる??などの記事がいくつかhitしましたが、社内でも積極的にKNIME使ってたりするのかなぁ。

続きを読む

【KNIME】バッシュをはいて、ちょっと高く跳んでみようぜ!

みなさま、お久しぶりです。前回の更新から3ヶ月。新しい仕事を覚えたりするのに頭を使ったり、イヤイヤ期真っ最中の娘(2)・諸々活発になってきた息子(0)に手一杯で、なかなかブログ更新ができないですね。

まあ、お金儲けで書いてるわけじゃないですし、のんびりと続けていきます。

 

さて、今回はバッシュの話。

f:id:sumtat:20180924220056p:plain

靴の話ではないんです。"bash"を使って、もう少し色んなことをしてみませんか?というご紹介です。KNIMEからね! 

さて、bashって何?っていう方もいらっしゃると思います。正しい答えではないんですが、超噛み砕いた言い方をすれば、

「ガチ勢が使ってる黒窓*1を使うこと

くらいに思っておけばいいのでは?と思います。mac, linuxならterminal、windowsならコマンドプロンプト(最近はpowershell?)ですね。こんな感じのやつです↓

f:id:sumtat:20180924221516p:plain

あー、もう見るだけで無理。こういうのが嫌だからKNIMEみたいなフローツールを使ってるのに…。という方も多くいるのではないかと思います。

そう言わずに、ちょっとだけ使ってみてください!難しいやつは難しい(当たり前)だけど、簡単なやつはめっちゃ便利ですから! 

今回は、新しいフォルダでも作ってみましょう。

*1:デザインのカスタマイズによっては黒ではないこともあります。

続きを読む

【KNIME】メモリが足りない…。ちょっと待って!がっかりするその前に!

みなさん、お元気ですか。

私は、ちょっと用事があって、昨日は久しぶりに都内に出かけました。田舎暮らしが長くなってきたせいなのか、単純に頭が老化しているのかはわかりませんが、

「都心の景観は、情報量が多い!」と感じました。

学生の頃は、都内で暮らしていました。そんなこと考えたことなかったんですよね。田舎からの"おのぼりさん"だったわけですが、あんまりこういう感覚を持ったことはなかったんですよね。やっぱり年のせいですかね。

 さて先日、KNIMEフロー内でのエラー回避について、1例をあげて記事を書きました。

記事を投稿した後、その他に予定外の何かでフローが止まってがっかりする場面ってないかなーと考えていたら、1つ紹介しておくと良さそうな事柄がありました。それはKNIMEのメモリ不足問題です。

そうなんです。KNIMEは結構メモリを食うんです!

f:id:sumtat:20180624155356p:plain

なので、重めの処理・loopの多い処理などをしていると、「おいおい旦那、もうメモリがいっぱいだぜ。悪いんだけど、もう働けねぇや」と言ってKNIMEが止まっちゃうことがあります。

その対応として

  1. ちょっとメモリ不足になりにくくする!
  2. メモリ不足になる前に気がつけるようにする!

の2つについて紹介します。

 

続きを読む

【KNIME】ノード紹介:Try, Catch Errors 〜折角流した処理がエラーで止まるのを回避する〜

みなさん、いかがお過ごしですか?

はてなブログには、どのくらいのページビューがあったのかを見ることができる機能があります。なんだか最近、ちょっとずつアクセスが増えているようです。

嬉しいので、もっと色々と更新したいのですが、今年度から担当になった新しい業務を覚えるのが大変で、なかなか記事を書けずにいます。*1

ちょっとずつですが書き続けますので、気長にお付き合いいただければ幸いです。

 

さて、今回はKNIMEのお話です。

f:id:sumtat:20180621232917p:plain

ちょっと使い方に慣れて色々なことをフロー化していくと、「よーし、今日はこのフローを流して帰ろう!明日には終わってるだろから、朝になったら結果を見よう!」みたいなことがあると思います。

で、朝になってみたら

「うわー、途中でError吐いて、とまっとるやんけ」

みたいな、残念なことになってる…。

あるあるですよね!

なるべく堅牢なフローにするにはエラー対策は結構重要だと思います。そこで、今回はエラー回避に役立つTryとCatch Errorノードを紹介したいと思います。*2

*1:とはいうものの、今回のように更新していると、そんな暇があったら仕事を身につけろ・勉強しろ!などと叱咤激励を受けることもありそうですがね。別に仕事中にブログ書いてるわけじゃないんで許してくださいね。

*2:単純な例題が何かないかなーと考えても、なかなか出てこなくて記事を書くのに時間がかかりました。エラーを吐くケースを想像しようとしても中々出てこなかったりするので、実際の運用の際には、どこにエラーの可能性が潜んでいるかをよーく考えないといけないですね。 

続きを読む

第7回ケモインフォマティクス若手の会に行ってきました!

みなさん、こんにちは。

今回はKNIMEや、その他ツールの話はないです。ただの雑記。

先週のことですが、第7回ケモインフォマティクス若手の会に参加してきました!

f:id:sumtat:20180529221533p:plain

f:id:sumtat:20180529221600p:plain

f:id:sumtat:20180529221622p:plain

 私は若手とはお世辞にも言えない年齢ですが、"超ど素人" = "若手"と勝手に解釈して参加することにしてみました!

 共感できるタイプ・できないタイプがいると思いますが、まあそれは不安でしたよ。残念ながら私は、あんまりおしゃべりが上手な方ではないですし、若さもない・ケモインフォの知識もない…。社内でも、お前みたいなおっさんが未経験分野の担当になって何の役に立つ?な空気を感じることもあります。確かに一理あると思います。

 でも、だからこそ、ビビらずに外の世界に触れて、少しでもレベルアップしなくてはと思い参加を決めたわけです。

行って良かった!とても良い会だった!

 実に語彙不足な感想ですが、とても良い会だと思いました。お偉方・学会の自己満足のために、高圧的な感じで催されるものではなく、運営スタッフの方々が、地道に温めてきた感じの伝わる会でした。またDeNAさんのサポートも大きですね。

 実際のところ、なんだかよくわからない部分もありましたが、初学者でもわかるように噛み砕いた説明・講演を皆様が心がけてくださっていたり、また素人質問も遠慮なくできる雰囲気で、大変有り難かったです。*1

 懇親会では、いろんな方とお話ししたり、名刺の交換等させて頂きました。有難うございました。またこういう機会があれば、積極的に参加していきたいと思わせてくれる会でした!

*1:素人質問というと、"相手をボコボコにする前置き"みたいな感じでとらえられることがあるようですが、ここでの意味はそういうものではないです。「おいおい、その程度のこと質問してんじゃねーよ」みたいな強張った空気は流れていないという意味です。