非プログラマーのためのインフォマティクス入門。(仮)

非プログラマーがインフォマティクスについて勉強したことを記録します。主にKNIMEというソフトを使用しています。

非プログラマーのためのインフォマティクス入門。(仮)

【KNIME】現場向け、自動化ツールとしてのKNIME

あけましておめでとうございます…?

はい、今年初めての記事です!

f:id:sumtat:20200321222436p:plain

COVID-19対策で色々と活動が制限される日々が続きますが、みなさまいかがお過ごしでしょうか?嫌なこと・困ること、私にもありますが、マスクがないのは本当に困りますね(花粉にやられる)。

 

さてさて、今日こんな記事を見つけました。

一部を抜粋させて頂きます。

また、ツールの動作がPythonのパッケージに依存する場合、「pandasは0.25.1を入れて、openpyxlは3.0.0を入れてください。、、」とお願いするのは無理があります。環境構築なしで実行できる形で渡す必要があります。

ここ、結構なポイントだと思うんです。環境構築って超重要ですし、難しい。

ひょっとするとこんな声も聞こてくるかもしれません。例えばcondaならyamlから環境作ってもらえば…とか、そもそもdocker imageを配れば...とか。

そんなのはまず無理です!

excel処理の自動化などが求められるような現場で、仮想環境の構築をすんなりとシステム部が認めてくれる気が個人的にはしないですし、たぶんまず「仮想?なにそれ??」みたいになって現場で会話が成立しない(python使おうとして、仮想じゃなくて実環境だったとすると、いろいろ汚して社内の基幹ツールの動作に影響を与えるのも怖いですし)。

exe化して配布というのは私もよく考えます。が、osに依存する気がするし、場合によりexeが重くなる。あと、カスタマイズ性がない。カスタマイズに関しては必要ないとも考えられるんですが、私は「技術に関して、周囲に知ってもらう・興味を持ってもらう」という意味で、多少弄れる状態ってものアドバンデージがあると思っています*1。もちろん運用としては例外を設けたくないので、必要に応じて個人レベルでのスキルアップにつなげてもらうという意図です。

そういう観点で、KNIMEはオススメできるツールだと思います*2

  • 基本的に無料
  • OSに依存しない
  • 環境構築が容易(というか、実行環境についてほぼ気にしなくてよい)
  • GUIツールで、可読性が高い
  • 学習のコストが低い(スキルの頭打ちは必ずやってくるが…)

最新版ではありませんが、KNIMEの導入方法は

【KNIME】KNIMEのインストール 2018 ver. - 非プログラマーのためのインフォマティクス入門。(仮)

使い方の基本事項は

KNIME〜入門編〜 カテゴリーの記事一覧 - 非プログラマーのためのインフォマティクス入門。(仮)

などに、稚拙ながら記事として纏めていますので、覗いて頂ければ嬉しいです。

 

現場のニーズを捉えることはもちろん重要です。それに加えて、各個人が僅かな学習コストで問題を解決できる様に各種ツールの布教活動等をすることも、所属組織への貢献になるかなと考えています*3。ですので、私のブログでは専門的な話にはあまり内容を持って行かずに、広く一般的に作業の効率化に繋がりそうなKNIMEの使い方を書くようにしています。

冒頭にも触れましたが、COVID-19で身動きが取りにくい状況です。逆手にとって、KNIMEをちょっといじってみませんか?

 

それでは、また次回!!!

*1:興味持ってもらわないと、使ってもらえなかったり、場合によっては崇高な手作業・手計算をサボって遊んでるんだろ!とか苦情が入る場合もありますからね

*2:もちろん、いろんな選択肢がある中での1つとしてです。特定のツールに固執する必要は全くないと思いますし、おそらくそれは有益ではないです。

*3:簡単な作業自動化を皆ができる様に底上げして、その間に自分がもう少し高度な処理ができるように研鑽する時間も作れます。

【KNIME】KNIMEで作った予測モデルを配りたい

お久しぶりです。気が付けば年末です。皆様いかがお過ごしでしょうか?

傍から見れば、意味が無かったり・スピードがゆっくりに見えたり、場合により私の能力の低さに対して不愉快な印象をもつ方も周囲にはいるようですが、個人的にはinputを積極的に続けている日々です。集団ってのは怖いものです。

さて、今回は"KNIMEで作ったモデル"を配りたいときにどうするか?というショートな記事です。ニッチな内容です。

f:id:sumtat:20191226223047j:plain

さてさて急に話が始まりますが、scikit-learn(python機械学習するときに使えるとっても便利なライブラリ)などでモデル作って、「joblib(やpickle等)でdumpしたからどうぞー」みたいなことをされても、受け取る側が???になる場合ってのがあるわけです。"まずはKNIMEでやりたいの!"っていう需要があると思うんです*1。で、今回のタイトルのように学習済みのモデルを配布したいという場面に遭遇した場合、KNIMEはメモリを結構喰うので、学習に必要となったデータ量が大きかったり・処理が複雑だったりするとワークフローをそのまま提供すること自体気が引けるし、相手のマシンスペックによっては動かない場合も想定されます。

でも、まあ心配は要りません。ちゃんと学習済みのモデルを保存できますよ!irisデータセットを使って、雑ですが試してみましょう!

*1:逆に言えば、pythonなどを使いたくなった時には、KNIMEでやってたことをコードにすればいいので、なんとなくできそうなことが想像し易い。調べるきっかけができるというのは助かるはず

続きを読む

【KNIME】インフォコムさんがメールサポート始めるんだって

皆さん、お久しぶりです。

急に暑くなりました。体調を崩していないでしょうか?私は、なんか心も体も疲れちゃってる感じですね。身の回りのことで手一杯になり、なかなかブログの更新もできない。

 

さて、今は車の点検で外出中。ちょっと時間ができたので、ぼけーっとtwitterみたりしてたら、こんな情報が目に入りました。

www.infocom.co.jp

KNIME、やっぱり流行ってきてるんですかね?ちょっとサービス内容を見てみました。

  • Silver: ¥450,000/year (標準ノードのみ、ver.4以上・最大50件)
  • Gold:  ¥900,000/year (含コミュニティノード、ver.3以上・最大100件)

だそうです…。

 

企業など、こういう形態が好まれる場合もあると思うので、選択肢の一つとして良いと思いますが…。

個人的な感想としては高い!ですね。オープンソースで金…。まあ、システム連携などの部分では仕方ないかなって気もしますが。

日本語の情報は確かにあんまり無いんですけど、KNIMEはKNIME Community Forumも充実してます。自分は英語殆ど読めないですけど、google先生もそばについていてくれるので、なんとかなります。使う側も、ちょっと頑張るくらいがちょうど良いんじゃね?と思います。

サポートで金もいいんですけど、KNIMEの国内communityとか作っちゃえばいいんじゃないですかね?

www.knime.com

↑こんなんとか、海の向こうではめっちゃやってるし。ユーザーを拡大した上で、高いレベルでのサポートが売りでっせ!みたいすればいいのに。KNIME server導入にも繋がるかもしれないし。(インフォコムさん、これは批判ではないのです。期待を込めてです。気分を悪くなさらないでくださいね)

さて、最近ではKNIMEに関する情報(国内)も増えてきているんですよ!

たまにはちょっとソフトウェアtymsk3891.hatenablog.com

古株さんだと思います。私がKNIMEを使い始めたころ、国内にユーザーはいるの?とか思ってたんですが、初めて「おー!いたいたっ!」ってなったブログです。KNIMEの更新毎に、その内容をまとめていたり、渋い小技などを記事にされたりしています。

t_kahi's blogwww.t-kahi.com

KNIMEを使った統計的な解析・conventionalな機械学習法の利用などを、Rとの対比を行いながら非常に丁寧にまとめられています。その他にも、薬理・生物系研究者が普段の作業で活用できそうな内容なども積極的に記事にされています。

このあたりは大変参考になると思います。

また、「そんなにハードな内容」or「ぼんやりしすぎの内容」でなければ「これ、どうやるの?」みたいなのをコメントで頂ければ、"私のできる範囲であれば"記事にします。仕事じゃ無いんで、クオリティはイマイチかもしれませんし、もちろん秘密保持が必要なやつとかは無理ですよ。でも無料です。お気軽にどうぞ。

なかなか更新していませんでしたが、なんとか生きてます。気が向いたら、覗きにきてくださいねー!

では、また次回。

 

【KNIME】気休め程度に体裁を整えたエクセルファイルを吐き出す

 4ヶ月ぶりの更新です。新年度を迎え、皆様はいかがお過ごしでしょうか?進学, 入社された方、部署の異動があった方などもいらっしゃるかと思います。周囲の環境が変わると、様々な要因から体調を崩してしまうこともあると思います。まずは健康に毎日を過ごしていきたいものですね。

 私は、ストレス解消の為に(?)最近中古マシンを買いました。hpのz420というワークステーション。送料込みで34kでした。これにcentos7を入れてオモチャにしています。condaやdocker入れたり、nvidiaのドライバ入れたり…。1年くらい前には思いつきもしないような事柄です。色々見ていると、最近ではconda activateが推奨なんですね。PATHもanacondaのbinに通すんじゃなくて、source conda.shにしときなよーみたいなことがCHANGELOGに書かれてたりして。物事の変化はとても速いなぁということと+documentはちゃんと読もうと感じた今日この頃です。

 で、この中古マシンにもKNIMEを導入したのですが、その時に「あれー、見たことないnodeがあるぞ」と思ったので、ちょっと触ってみました。

Continental (Community Nodes)

f:id:sumtat:20190414204546p:plain

https://www.knime.com/community/continental-nodes-for-knime

先月追加されたようです。使ってみたい場合は"File > Preferences > Install/Update > Available Software Sites"にhttp://update.knime.com/community-contributions/3.7がリストに入っている&Enabledになっていることを確認の上、"File > Install KNIME Extensions..."と進めていけばnodeをインストールできると思います。ピンポイントで入れたければ、検索窓に"continental"とか入れれば、ひっかかってくるはずです。

f:id:sumtat:20190414205410p:plain

さて、1点気が付いたのですが、mac版だと上手くインストールできないみたいです(2019/04/12)。理由はよくわからんです。win, linuxは導入できることを確認しました。

これで、どんなことをやってみるかというと

f:id:sumtat:20190414223338p:plain
f:id:sumtat:20190414223349p:plain
左図を右図みたいににする

ということです(office入れてないんで、キャプチャはLibreOfficeです)。では流れをささーっと紹介していきますねー。

続きを読む

【2019ご挨拶】あけましておめでとうございます

あけましておめでとうございます

みなさま、いかがお過ごしでしょうか?ばたばたしながらも、なんとか新年を無事に迎えることができました。

ちなみに2018/01/01 00:00は息子のオムツ交換をしていたのですが、2019/01/01 00:00は、眠っていた娘(3)、息子(1)が3分前から同時に泣き出し、夫婦ともに子供を抱っこして寝かしつけるという状況で迎えることになった次第です…。

2018の初記事では何書いていたかなーと振り返ってみると、まずアクセス数について書いていました。で、今年も同じように振り返ってみることにします。

f:id:sumtat:20190105150836p:plain

2018は1年間でおよそ58,000回のアクセスをしていただいたようです(2018/01/01まで、約16,000回)。均してしまえば、約160回/day。随分多くの方に目を通してもらっているなぁという印象です。*1

更新のペースは激減しているのですが、ブログのメインにしているKNIMEの使い方に関しては、今後もなるべく広い分野で使えるような内容を中心に記事にしていこうと思っていますので宜しくお願いいたします。加えて、今年は雑記などもちょこちょこ書いていこうかなと思っています。

年末年始にかけての雑記

f:id:sumtat:20190105161930p:plain

「自分へのクリスマスプレゼント・お年玉」とか「ある程度投資しないとスキルは身につかない」とか適当な言い訳を自分にして、お買い物をいくつかしました。

ipad pro 11 inch + 周辺諸々

私はタブッレット端末を持っていなくて、使ってみたくなりました。最近では、若い方の間ではPC離れも進んでいるとかなんとか。ということで、タブレット(OSを含む)でどんなことができるのか、経験しておきたくて買ってしまいました。 

Apple 11インチ iPad Pro Wi-Fiモデル 256GB スペースグレイ MTXQ2J/A

Apple 11インチ iPad Pro Wi-Fiモデル 256GB スペースグレイ MTXQ2J/A

 

 私はシルバーにしました。おまけにapple pencil 2とsmart keyboard folioも書いました。論文読んだりするのに結構重宝しています。あとは、子供に動画を見せるとき*2。電車通勤だったらもっと使ってるだろうなー。まだまだ活用しきれていませんが、最近は3つのアプリをいれて楽しんでいます。

Juno
Juno for Jupyter

Juno for Jupyter

  • Rational Matter
  • 仕事効率化
  • 無料

 jupyter notebookがipad上で使えます。自分でserverをたててアクセスすることもできるようですが、私のような素人が勉強のために使うにはAzure Notebooksで十分。junoを有償版にする必要がありますが、アプリ内でazure notebooks作って接続すれば勉強になります。クラウド環境を気楽に使えるくらいの感覚になっていかないとダメなんでしょうね。他にもGoogle ColaboratoryやPaiza Cloudなど、無料で環境を提供してくれるサービスもあり、時代は変わってきているなーと強く感じます。

pythonista3
Pythonista 3

Pythonista 3

  • omz:software
  • 仕事効率化
  • ¥1,200

ipad上でpythonが実行できるアプリです。stashってのを後から入れれば(興味があればググってね)、シェルもどきが使えて、pipで色々インストールできます。詳しくはわからないのですが、python以外の言語から成るライブラリは動かないみたいで、pandas(やRDKit)は動きません。この辺りを勉強したかったので、ちょっと残念です。でも、ローカル環境でコードの作成・実行ができるので良い勉強になります。errorやwarningの表示も非常に丁寧でわかりやすいです。 

TeamViewer 
TeamViewer: Remote Control

TeamViewer: Remote Control

  • TeamViewer
  • 仕事効率化
  • 無料

オンライン環境下、他のマシンにリモートデスクトップでアクセスすることが簡単にできるアプリです。*3自宅に眠っていたポンコツマシンを掘り出してlinuxをインストールしたものに、ipadからリモート接続できるようにしました。こういう技術に関してもgoogle リモートデスクトップなど、他のサービスが乱立しています。セキュリティには注意を払いながら、身近ものとして使っていければと思っています。しかし、google (GAFAのが適切かな?)はすげーなーと思います。

ここらへんのアプリを使っていると、すこし不便だなーと思うのはsmart keyboardです。普段使いには大変満足なのですが、ESCがないことだけはちょっと不便です。だってviとか使うときに必要じゃないですか。このことに関してはwebでも多く言われているようです。この辺の作りからも感じられるのですが、

【修正&追記:vimはESCなくても全然いけるわ。ctrl+c使えばいいじゃんね。っていうか、こっちの方が指が遠くなくていい感じだし!】

PCとタブレット。それぞれがどのくらい歩み寄っていいて、どの辺が得意・不得意なのかはやっぱり触ってみるとよくわかります。楽しいですよ! 

 
Happy Hacking Keyboard BT 

もう一つ浪費してしましました。

f:id:sumtat:20190105173901j:plain

 

PFU Happy Hacking Keyboard Professional BT 日本語配列/白 PD-KB620W

PFU Happy Hacking Keyboard Professional BT 日本語配列/白 PD-KB620W

 

お高いキーボードです。そんなにキーボード叩きまくってるわけじゃないので、豚に真珠と言われちゃうかもしれませんが、マシンに向かう動機付けの一つとして。

「○○がこうだから、△△で良い」みたいな、ちゃんとしたことは書けませんが、実際に触ってみると打ち心地はとても良いです。適当な指運びをしていましたが、なんか綺麗にタイピングできるようになりたいなーと感じさせられました。

なんかかっこいいので、レベルが上がったような気がしてしまいます(アホ)。本当にレベルが上がるように今年も頑張っていこうと思います。

 

今回はお買い物ログになってしまいました。次回は何を書こうかなぁ。KNIMEについて書くなら"quick form"の使い方について書こうかと思っています(予定*4。)

それでは、今年も宜しくお願いいたします!

コメントもお待ちしております!

*1:年明けから嫌な書き方をすれば、勤務先で「無駄な報告書だなー」とか思いながら書いてる文書なんて、こんなに読んでもらえませんからね。形骸化しているというか、管理者が数値に落とせる視点でしか考えていないというか。

*2:動画は基本的にテレビにミラーリングして見せていますが、外出先で最後の砦として動画を使うとき、スマホで見せると癖になりそうで。一応タブレットは特別なものですよー的な感じで使ってます

*3:操作される側にもインストールが必要です。

*4:未定

【KNIME】KNIMEのインストール 2018 ver.

 皆さんお元気ですか?このブログを書き始めて1年ちょっとが経ちます。主にKNIMEというツールの基本的な使い方を記事にしています。

 私がKNIMEに触れ始めた頃は、google先生に聞いても国内ではあんまりユーザーがいるような気がしないし、種々の情報もgetできなかったように記憶しています。が、最近ちょっとずつユーザーが増えてきている気がします。webやSNSで調べると、ちょいちょいhitするし。最近驚いたのは、"なんか、本がでてるっぽい"ってこと!  

AI、IoTを成功に導く データ前処理の極意

AI、IoTを成功に導く データ前処理の極意

 

日立。大きな会社だー!

 目次を見ると"付録 データ分析ソフト「KNIME」の使い方"って書いてあるんだよね。KNIMEの使い方に関しては、洋書はいくつかあったけど(KNIME Beginner's Luckとか)、和書では見たことなったです。*1

「こんなに大きな組織からもKNIMEに関する情報を提供するになってきている…。」

 なんか状況が変わってきたなーと感じるとともに、ユーザーが増えてきているなら、少しでも自分の知ってることを、このブログを通して共有できればいいなと考えています。

で、今回はKNIMEのinstallに関して2018版を書いてみようと思います。

*1:日立の方、ごめんなさい!実はこの本読んだわけじゃないんです!amazonからのsuggestがきたから、ちょっと商品紹介を見ただけなんです。Lumada?に組み込まれてる??などの記事がいくつかhitしましたが、社内でも積極的にKNIME使ってたりするのかなぁ。

続きを読む

【KNIME】バッシュをはいて、ちょっと高く跳んでみようぜ!

みなさま、お久しぶりです。前回の更新から3ヶ月。新しい仕事を覚えたりするのに頭を使ったり、イヤイヤ期真っ最中の娘(2)・諸々活発になってきた息子(0)に手一杯で、なかなかブログ更新ができないですね。

まあ、お金儲けで書いてるわけじゃないですし、のんびりと続けていきます。

 

さて、今回はバッシュの話。

f:id:sumtat:20180924220056p:plain

靴の話ではないんです。"bash"を使って、もう少し色んなことをしてみませんか?というご紹介です。KNIMEからね! 

さて、bashって何?っていう方もいらっしゃると思います。正しい答えではないんですが、超噛み砕いた言い方をすれば、

「ガチ勢が使ってる黒窓*1を使うこと

くらいに思っておけばいいのでは?と思います。mac, linuxならterminal、windowsならコマンドプロンプト(最近はpowershell?)ですね。こんな感じのやつです↓

f:id:sumtat:20180924221516p:plain

あー、もう見るだけで無理。こういうのが嫌だからKNIMEみたいなフローツールを使ってるのに…。という方も多くいるのではないかと思います。

そう言わずに、ちょっとだけ使ってみてください!難しいやつは難しい(当たり前)だけど、簡単なやつはめっちゃ便利ですから! 

今回は、新しいフォルダでも作ってみましょう。

*1:デザインのカスタマイズによっては黒ではないこともあります。

続きを読む