論文のPDFから図を自動で抽出する
この記事は、CAMPHOR- Advent Calendar 2020 の2日目の記事です。
論文のPDFから図を自動で抽出する
こんにちは、シバニャンです。最近やっていることと言えば、修士論文の執筆です。修士論文を書くためには、普段から大量の論文を読んでおく必要があります。僕の研究分野はコンピュータビジョンという画像を中心に扱う分野で、年数回、国際会議があるたびに1000本程の論文が発表されます。その中から自分の研究に関係があったり、直接関係はなくても役立ちそうなアイディアがある論文を見つける必要があります。
論文ギャラリーを作りたい
論文が発表されると、このようにWebサイト上に論文リストが出ます。普通だと、自分に関係するキーワードを検索して、ざっくりと目を通して読みたい論文を見つけます。ですが、もしこれが文だけではなく論文の図がギャラリーのように一覧できたら、論文探しがとても捗ると思いませんか？そこで、論文ギャラリーを作るために、論文から図を抽出することにしました。
論文のPDFから論文の図を抽出するのは素直にはいかず、PDFが元データとして持っている図を書き出せば出来るわけではありません。なぜなら、論文はLaTeXで複数の図をまとめてFigure 1に載せたりするため、元データの図を抽出するとそれぞれの図がバラバラになって出てきてしまうからです。
例えば、
上のような論文PDFから元データの画像を抽出すると、
上のように，論文のFigの一部がバラバラに抽出されてしまいます。
これは、論文のギャラリーのためは使えません。(ネット上にあるPDFから画像を抽出する方法はだいたいこの方法です。)
ギャラリーのためには、
上のようにFig全体が一枚の画像として欲しいです。
PDFの構造を使う
そこで、論文からFigure 1、Figure 2のようにひとかたまりの図を取り出す方法を紹介します。この記事では、画像から論文の図を認識して検出するのではなく(こっちの方向を期待していた方はごめんなさい。)、PDFの構造を解析して、図の「ひとかたまり」を抽出します。
そのためには、PDFについてある程度知っておく必要があります。実際の実装とは異なりますが、PDFは概念的には下図のようなグラフ構造として理解できます。
(引用 https://www.oreilly.com/library/view/pdf-explained/9781449321581/ch04.html)
今回興味がある論文の図は、各ページのリソースオブジェクトにあります。リソースオブジェクトは、PDFに画像やフォントなどのデータを入れるためのオブジェクトです。PythonのPDFを扱うライブラリ(https://github.com/pmaupin/pdfrw) を使うと、1ページ目のリソースオブジェクトはこのように取得できます。
from pdfrw import PdfReader from pdfrw.findobjs import find_objects pdf = PdfReader(file_path) print(list(find_objects(pdf.pages)))
リソースオブジェクトにはいくつか種類がありますが、画像はXObjectというタイプのオブジェクトです。 XObjectはサブタイプを持っていて、サブタイプにはImageとFormがあります。
Imageは元画像を表すXObjectで、Formは画像の配置や線画を表すXObjectです。
PDFをVSCodeで開いてXObjectで検索してみると、Imageは
このようにタイプや圧縮形式などを書いた後に圧縮されたバイト列が続きます。このバイト列は画像のバイナリで、PDFはこのようにして画像をファイルの中に持っていることがわかります。
Formは、
と、Imageと同様に、タイプや圧縮形式などの情報を書いた後にstreamからendstreamまで圧縮されたバイト列が続きます。
このバイト列は、デコードすると
q 0 0 637 128 re W n /Fm1 Do Q
のように独自の命令列になっています。
元画像と、この命令列を使ってレンダリングをすれば、PDFのFormオブジェクト(=論文の図など)を描画できるということになります。 これを一から実装するのはさすがに大変なので、ライブラリの力に頼って論文の図を取り出します。
import sys import os from pdfrw import PdfReader, PdfWriter from pdfrw.findobjs import trivial_xobjs, wrap_object, find_objects from pdfrw.objects import PdfDict, PdfArray, PdfName arxiv_id = "1506.02640" file_path = f"data/paper_pdf/{arxiv_id}.pdf" out_path = f"data/paper_summary/{arxiv_id}.pdf" WIDTH = 8.5 * 72 MARGIN = 0.5*72 pdf = PdfReader(file_path) objects = [] for xobj in list(find_objects(pdf.pages)): if xobj.Type==PdfName.XObject and xobj.Subtype == PdfName.Form: wrapped = wrap_object(xobj, WIDTH, MARGIN) objects.append(wrapped) if not objects: raise IndexError("No XObjects found") writer = PdfWriter(out_path) writer.addpages(objects) writer.write()
find_objects関数で見つかったすべてのリソースに対して、forループでXObjectのFormを取り出しています．取り出したXObjectはwrap_object関数でPDFのページオブジェクトに変換されます。 最後に書き出せば、PDFとして論文の画像を得ることができました。
出てきたファイルはある程度重複がありますが(原因不明。分かる人がいたら教えてほしいです。)、論文のFigから上部分を取り出すことができました。 PNGにしたい場合は、PDFをPNGに変換するツール(https://github.com/Belval/pdf2image)を使えばできます。
ものによっては、Formではなく元画像のImageとして論文の図を貼り付けている論文もあるので、必ずしもこの手法がうまくいくとは限りません。 ですが、画像がたくさん集まって論文のFigになっているような論文の場合は、元画像(XObjectのImage)をそのまま取ってくるよりも、画像の配置(XObjectのForm)を取ってくるほうが良く取れたので、ギャラリーのためにはこちらの方が便利だと思います。
著作権的にどうなのかはわからないですが、ギャラリー以外にも、新着論文情報をつぶやくTwitter botやSlack botを作ったり、 この取り出し方を学習データにして、画像認識的に論文の図を取り出しても面白いかもしれないですね。
CAMPHOR- Advent Calendar 2020 の次の記事は、ぼのさんによる「Unityによるアイワナ風ゲーム制作」です。お楽しみに！
LaTeXで下線の引き方
近況報告
こんにちは． 最近は，DC1の申請書を書いていました． 業績が全然無いので，運良く通ったらいいな〜くらいの気持ちで書き始めたんですが， 先生や先輩から文章の書き方について学ぶ良い機会になりました．
(今まで自分が書いてきた文章は，日本語ではなくて別の何かだったという気持ち・・・)
科研費LaTeX最高！
DC1はWordを使って書くことが推奨されていますが，Wordはやっぱり使いたくないので，代替として用意されている科研費LaTeXを使いました． http://osksn2.hep.sci.osaka-u.ac.jp/~taku/kakenhiLaTeX/
DC1の申請書って何度も書き直すので，自動で番号を振ってくれるのはありがたいですね．
そしてなんとこの科研費LaTeX，CloudLaTeXのテンプレートにあるんです．
今年はちょっとテンプレートが変わって，「研究業績」が「研究遂行能力」になったようです．
日本語のLaTeXでも下線を引きたい
本題に入ります．ただの備忘録なので，有益な技術ブログだと思って読みに来た人はごめんなさい．
soulを使って下線を引けなかった
科研費LaTeXを使っていたときは，何も考えずに\ulで文章に下線が引けました．
新しいLaTeXのプロジェクトで下線を引こうと思い，soulパッケージの\ulを使うと，下のエラーが出ました．
! Package soul Error: Reconstruction failed.
soulパッケージは，latex underlineでググって出てきたので，てっきり科研費LaTeXで使われている\ulはsoulのものだと思っていたのですが，違うみたいです．
(\underlineは下線が複数行にまたがるときに使えないので，こちらも目的に合いませんでした．)
udlineを使う
日本語のLaTeX文章で下線を引くには，udlineを使う必要があります．
まず，ここからudline25.lzhをダウンロードして，udline.styを入手します．
http://minamo.my.coocan.jp/tex/udline.html
次に，udline.styをLaTeXのプロジェクトファイルに入れます．
そして，.texファイル内で\usepackage{udline}と書けば，文章内で\ulが使えるようになります．
やったね！
おわりに
Package soul Errorでググってからudline.styにたどり着くまでちょっと調べる手間がかかったので，エラーメッセージでググった人の検索にこの記事が引っかかって誰かの役に立てば良いなと思っています．
参考
TeXフォーラム https://oku.edu.mie-u.ac.jp/tex/mod/forum/discuss.php?d=2491
udlineの使い方 http://osksn2.hep.sci.osaka-u.ac.jp/~taku/kakenhiLaTeX/udline_manual.pdf
.styファイルのインクルードの仕方 https://stackoverflow.com/questions/5993965/include-sty-file-from-a-super-subdirectory-of-main-tex-file
配列の形状(Shape)のコメントを付けるJupyter Notebook拡張を作った
加筆(2019/12/12)
注意 JupyterNotebook拡張は使いづらかったので，IPython拡張としてリニューアルしました． こちらを使ってください．
このページを読む代わりに，下の記事を読むことをお勧めします． (検索順位はこのページの方が高いので微妙な気持ちです・・・) shiba6v.hatenablog.com
概要
下の図のように，Pythonのコードに配列の形状(Shape)だったりクラスだったりをコードに付け加えるJupyter Notebook拡張を作りました．
今度こそ超便利．
GitHubのリポジトリはこちらです． github.com
はじめに
以前，NumPyやPyTorchで使える超便利ツールを作った の記事でShape Commentatorを作ったことを紹介しました．
このShape Commentatorは実行時の情報を抜き出すという都合上，使い方が煩雑でした．(ブログの説明がかなり長いのはそういうことです・・・)
このせいで自分でも本当に困った時しか使わなくなってしまい，もっと便利にしたい，できればJupyter Notebookの拡張機能として使えるようにしたいと思って作りました．
インストール
Shape Commentatorをpipでインストールし，Jupyter Notebook 拡張としてインストールします．
nbextensionsが入っていない場合は，jupyter_contrib_nbextensions 公式ドキュメントからインストールしてください．
pip install -U shape_commentator jupyter nbextension install https://github.com/shiba6v/jupyter-shape-commentator/archive/master.zip --user
そして，nbextensionsの設定からJupyter Shape CommentatorをOnにします．
これで準備は完了です．
使う
コメントをつけたいセルを選んで， Shape のボタンを押すだけでOKです！
コメントを消したいときは Shape のボタンを押せばOKです．消えるコメントはShape Commentatorで付けたコメントだけで，通常のコメントが消えることはありません．
補足
Shape Commentatorで付けたコメントは，通常のコメントとの区別のために「 #_ 」 というように「 # 」の後に「 _ 」を入れています． いずれはPEP484に準拠したいですが，一旦このように妥協しています．
デモ
例えば，ニューラルネットワークのコードでforwardの中のShapeがわからなくなっても簡単に見ることができます．
デモはPyTorchで書いていますがPandasやChainerでも使えます．"shape"というattributeが生えていれば何でも良いのです．
今後
今回Jupyter Notebook拡張を書いたことでやっと楽に使えるレベルまで達したと思います．(個人の感想です．)
今後も機能を追加していけたらいいと思っています．
Shape Commentator使った！などの感想をTwitterしてくださった方，バグ報告のissueが立ててくださった方，感想をくれたお友達に感謝します．
toxからbatsを使ってPythonのバージョンを変えながらシェルスクリプトでテストする際のエラー
こんにちは． この前リリースしたPythonで使えるツールのshape_commentatorの評判が良く，最近はCIでPyPIにパッケージをアップロドする設定を書いたりしてCIとわいわい遊んでいます．
tox と bats
テストには，doctestに加えてbats を利用しています．これは，シェルスクリプト でテストを書けるツールで，今回のようなファイルを直接出力するなどPythonのコードよりもシェルスクリプトでテストを書きたいようなもののテストに適していると思い，導入しました．
shape_commentatorは，過去の数値計算のコードを読み解くツールとして有用になる可能性があるため，様々なPythonのバージョンでテストしておきたいという気持ちがあります．Pythonの様々なバージョンでのテストと言えばtoxですが，これはvirtualenvを使って様々なバージョンのPythonに対してテストを行うツールです．
tox.iniの書き方
tox.iniからbatsを呼ぶために，このようにtox.iniを書きました．
[tox] envlist = py36 [testenv] deps = numpy whitelist_externals = bats commands = bats --tap tests/test_all.bats
気をつける点
注意点は以下の2点です．
1. toxからbatsのような外部コマンドを呼ぶには，whitelist_externalsに書く必要があります．
2. batsを直接ターミナルから呼び出さない場合にあたるので，--tapオプションを付けます．
1をやらないと，
WARNING: test command found but not installed in testenv cmd: /usr/local/bin/bats env: /Users/xxxxxx/shape_commentator/.tox/py36 Maybe you forgot to specify a dependency? See also the whitelist_externals envconfig setting.
といったエラーが出ます． toxのcommandsからpython以外のコマンド(bats)を呼び出しているために出るエラーです．
2をやらないと，
tput: No value for $TERM and no -T specified ERROR: InvocationError for command '/usr/local/bin/bats tests/test_all.bats' (exited with code 2)
といったエラーが出ます． toxからbatsを実行すると，batsが利用しているtputコマンドから出るエラーです．
まとめると，tox.iniでbatsを実行する際は，whitelist_externalsと--tapを書きましょうということです．
NumPyやPyTorchで使える超便利ツールを作った
この記事は，CAMPHOR- Advent Calendar 2018の7日目の記事です．
この記事は，NumPyやPyTorchなどの開発に使える「shape_commentator」という便利ツールを使った話です．このツールはpipでインストールできるので，サクッと試してみたい方はGitHubのページに飛んで使ってみてください．
加筆修正(2019/12/12) IPython拡張を追加したことでIPythonやJupyterNotebookでの使い心地が良くなったので，IPythonの例の部分を中心に一部修正しました．
はじめに
こんにちは．シバニャンです．最近は卒論で画像系の研究をしていますが，機械学習の理論的なところを突き詰めずにやってきたツケが回ってきて苦労しています😢
卒業研究ではNumPyやPyTorchを使ってコーディングしているんですが，今までUnityのコードをC#で書いてVisual Studioのコード補完のぬるま湯に浸かってきた僕とっては，型が明示的でないコードで計算を書いていくのが辛く思えました．
NumPyの辛さ
具体的にNumPyで一番辛く感じた部分は，ソースコードを見ただけではテンソルのShapeが分からないことです．
(NumPy使ってるよ，辛いよねという方はこの章は飛ばしてください．)
下のコードのように3つテンソルを作ってみましょう．aは2次元のベクトルで，bは縦(axis0)が2行，横(axis1)が3列の2x3行列です．
このとき，aのShapeは(2,)で，bのShapeは(2,3)というタプルで表されます．簡単ですね．
この調子でcは，axis0が2，axis1が3，axis2が4の大きさを持つテンソルになります．このShapeは(2,3,4)と表されます．
import numpy as np a = np.array([2,3]) b = np.array([[1,2,3],[3,4,5]]) c = np.array([ [[1,2,3,4],[2,3,4,5],[3,4,5,6]], [[2,3,4,5],[3,4,5,6],[4,5,6,7]] ]) print("====== a =====") print("a: {}".format(a)) print("a.shape: {}".format(a.shape)) print("====== b =====") print("b: {}".format(b)) print("b.shape: {}".format(b.shape)) print("====== c =====") print("c: {}".format(c)) print("c.shape: {}".format(c.shape))
====== a ===== a: [2 3] a.shape: (2,) ====== b ===== b: [[1 2 3] [3 4 5]] b.shape: (2, 3) ====== c ===== c: [[[1 2 3 4] [2 3 4 5] [3 4 5 6]] [[2 3 4 5] [3 4 5 6] [4 5 6 7]]] c.shape: (2, 3, 4)
なーんだ，こんなの見たらわかるじゃんと思った方，こっちならどうでしょう?
変数ab_h, ab_v, ab, AA, BBのShapeは一瞬で分かるでしょうか?
import numpy as np a = np.array([1,2,3,4,5,6]) b = np.array([0,1,2,3,4,5]) ab_h = np.hstack((a,b)) ab_v = np.vstack((a,b)) ab = np.dot(a,b) AA, BB = np.meshgrid(a,b)
文句言わずドキュメント読めよ，と思った方がいると思いますが，この例は分かりやすいNumPyのメソッドだから良いものの，これがもし昔に作ったメソッドや研究室の秘伝のソースだったら一瞬で分かるはずはありません．
shapeを知りたいだけだった場合にも，毎回ドキュメントを参照しながらソースをじっくり読み込んだり，毎回print文を書いてshapeを調べながら，本当は研究に使うべき精神力を消耗していったりすることが想像できると思います． (shapeだけでいいから知りたいという状況は，ニューラルネットワークのコードを書くときに入力のノード数と出力のノード数を合わせるときに必ず発生します．)
こういったことに労力を割かれているのは，NumPyなどで行列演算をしている人にとっては日常茶飯事で，もしかしたらこの面倒なプロセスに慣れてしまったかもしれません．
型・・・?
Pythonには型ヒントという機能がありますが，NumPyのShapeまでは(たぶん)サポートされていません．
もしあったとしても，自分で型ヒントを書きながら開発を進めるのはそれは結構なことですが，型ヒントの書いていないライブラリや研究室の秘伝のソースを利用しようとなると，結局print文でshapeを調べる羽目になるのです．僕はそんな面倒なことはしたくありません．
今回の僕の目的は，NumPyなどのShapeを一瞬で知りたいということです．あくまで実行時のShapeが分かれば数値計算を進めるのには十分なのです．
便利ツールを作った
NumPyなどでShapeが分からないという辛い問題を，僕はソースコードにコメントをつける「shape_commentator」というツールを作ることで解決しました． 「NumPyのshapeをコメントしてくれる君」的なネーミングですが，可愛くないですか?
shape_commentatorはpipでインストールできます．
pip install shape_commentator
IPython, Jupyter Notebookで使う
まずはIPythonで使ってみましょう．shape_commentatorをインポートして，先ほどのコードのセルの上に
%%shape
というマジックコマンドを実行します．
(見た方が早いと思うので，IPython上での実行結果を貼ります．)
In [1]: import shape_commentator In [2]: %%shape ...: import numpy as np ...: a = np.array([1,2,3,4,5,6]) ...: b = np.array([0,1,2,3,4,5]) ...: ab_h = np.hstack((a,b)) ...: ab_v = np.vstack((a,b)) ...: ab = np.dot(a,b) ...: AA, BB = np.meshgrid(a,b) ...: import numpy as np a = np.array([1,2,3,4,5,6]) #_ (6,) b = np.array([0,1,2,3,4,5]) #_ (6,) ab_h = np.hstack((a,b)) #_ (12,) ab_v = np.vstack((a,b)) #_ (2, 6) ab = np.dot(a,b) #_ () AA, BB = np.meshgrid(a,b) #_ [(6, 6),(6, 6),]
すると，あらびっくり，Shapeのコメント付きのソースコードが手に入ります．
これ，めっちゃ便利じゃないですか!?
うんうん，便利でしょう．公開したソースコードに丁寧にshapeのコメントが書いてあったら見る側も嬉しいと思います．
これによってshape_commentatorは，渡されたソースコードを実際に実行し，代入文を乗っ取ってshapeの情報を取り出してソースコードに付け加えて出力します． In[2]の最後の行のnp.meshgridは返り値がlistなんですが，listやtupleを展開してくれる機能をつけたので，いい感じに展開してくれます．
同様に，Jupyter Notebookでも同じように利用できます．(やり方は全く同じなので省略)
ファイルに対して使う
IPythonではなくて，Pythonのファイルに対してshape_commentatorを実行することもできます．
src.pyというファイルに対して実行するのであれば，
import numpy as np a = np.array([1,2,3,4,5,6]) b = np.array([0,1,2,3,4,5]) ab_h = np.hstack((a,b)) ab_v = np.vstack((a,b)) ab = np.dot(a,b) AA, BB = np.meshgrid(a,b)
このように，shape_commentatorをモジュールとして実行します．
python -m shape_commentator src.py
すると，ファイル名.commented.py(今回はsrc.py.commented.py)というファイルができていて，コメントが付いています．やったね．
import numpy as np a = np.array([1,2,3,4,5,6]) #_ (6,), b = np.array([0,1,2,3,4,5]) #_ (6,), ab_h = np.hstack((a,b)) #_ (12,), ab_v = np.vstack((a,b)) #_ (2, 6), ab = np.dot(a,b) #_ (), AA, BB = np.meshgrid(a,b) #_ ((6, 6),(6, 6),)
PyTorchで使ってみる
このツールの強力さをもっと知ってもらうために，PyTorchでの例も書きます． PyTorchのコードはkotiraのPyTorch Tutorialから引用します． github.com
ここでクイズです．下のコードの[HERE]の部分は最後の全結合層(FC層)の入力ノード数を表ていますが，これは，FC層に入るテンソルの次元数と合わせなければいけません． さて，この[HERE]の部分には何の数字が入るでしょうか?
PyTorchに触れたことがない方向けに説明すると，layer2の出力は(バッチ(一度に入力する画像のまとまり)サイズ, ノード数(=32), 特徴マップ(中間で出力される画像)の縦の大きさ, 特徴マップの横の大きさ)で，ConvNetに入力画像のバッチを入れた際にforward関数が画像のバッチを引数として呼び出されます．
forward関数の中では，layer2の出力を(バッチサイズ, 残りの次元数を全部まとめた数)のShapeに変えています．fc層の引数のShapeはどうなっているでしょう?
class ConvNet(nn.Module): def __init__(self, num_classes=10): super(ConvNet, self).__init__() self.layer1 = nn.Sequential( nn.Conv2d(1, 16, kernel_size=5, stride=1, padding=2), nn.BatchNorm2d(16), nn.ReLU(), nn.MaxPool2d(kernel_size=2, stride=2)) self.layer2 = nn.Sequential( nn.Conv2d(16, 32, kernel_size=5, stride=1, padding=2), nn.BatchNorm2d(32), nn.ReLU(), nn.MaxPool2d(kernel_size=2, stride=2)) self.fc = nn.Linear( [ HERE ] , num_classes) def forward(self, x): out = self.layer1(x) out = self.layer2(out) out = out.reshape(out.size(0), -1) out = self.fc(out) return out
さて，shape_commentatorを利用して全ての代入文に対してshapeを調べましょう． とりあえずnn.Linearに渡す引数の[HERE]は適当な数字で埋めておいて，今までと同様にマジックコマンドを実行します．
さて，どうなるでしょう?
In [2]: %%shape ...: import torch ...: import torch.nn as nn (データローダー部分は省略．) ...: class ConvNet(nn.Module): ...: def __init__(self, num_classes=10): ...: super(ConvNet, self).__init__() ...: self.layer1 = nn.Sequential( ...: nn.Conv2d(1, 16, kernel_size=5, stride=1, padding=2), ...: nn.BatchNorm2d(16), ...: nn.ReLU(), ...: nn.MaxPool2d(kernel_size=2, stride=2)) ...: self.layer2 = nn.Sequential( ...: nn.Conv2d(16, 32, kernel_size=5, stride=1, padding=2), ...: nn.BatchNorm2d(32), ...: nn.ReLU(), ...: nn.MaxPool2d(kernel_size=2, stride=2)) ...: self.fc = nn.Linear( 1, num_classes) ...: ...: def forward(self, x): ...: out = self.layer1(x) ...: out = self.layer2(out) ...: out = out.reshape(out.size(0), -1) ...: out = self.fc(out) ...: return out ...: ...: model = ConvNet(num_classes).to(device) ...: ...: # Loss and optimizer ...: criterion = nn.CrossEntropyLoss() ...: optimizer = torch.optim.Adam(model.parameters(), lr=learning_rate) ...: ...: # Train the model ...: total_step = len(train_loader) ...: for epoch in range(num_epochs): ...: for i, (images, labels) in enumerate(train_loader): ...: images = images.to(device) ...: labels = labels.to(device) ...: ...: # Forward pass ...: outputs = model(images) ...: loss = criterion(outputs, labels) ...: ...: # Backward and optimize ...: optimizer.zero_grad() ...: loss.backward() ...: optimizer.step() ...: ...: if (i+1) % 100 == 0: ...: print ('Epoch [{}/{}], Step [{}/{}], Loss: {:.4f}' ...: .format(epoch+1, num_epochs, i+1, total_step, loss.item())) ...: --------------------------------------------------------------------------- (データローダー部分は省略．以下，出力されたコメント付きスクリプト) # Convolutional neural network (two convolutional layers) class ConvNet(nn.Module): def __init__(self, num_classes=10): super(ConvNet, self).__init__() self.layer1 = nn.Sequential( #_ <class 'torch.nn.modules.container.Sequential'>, nn.Conv2d(1, 16, kernel_size=5, stride=1, padding=2), nn.BatchNorm2d(16), nn.ReLU(), nn.MaxPool2d(kernel_size=2, stride=2)) self.layer2 = nn.Sequential( #_ <class 'torch.nn.modules.container.Sequential'>, nn.Conv2d(16, 32, kernel_size=5, stride=1, padding=2), nn.BatchNorm2d(32), nn.ReLU(), nn.MaxPool2d(kernel_size=2, stride=2)) self.fc = nn.Linear( 1 , num_classes) #_ <class 'torch.nn.modules.linear.Linear'>, def forward(self, x): out = self.layer1(x) #_ torch.Size([100, 16, 14, 14]), out = self.layer2(out) #_ torch.Size([100, 32, 7, 7]), out = out.reshape(out.size(0), -1) #_ torch.Size([100, 1568]), out = self.fc(out) return out model = ConvNet(num_classes).to(device) #_ <class '__main__.ConvNet'>, # Loss and optimizer criterion = nn.CrossEntropyLoss() #_ <class 'torch.nn.modules.loss.CrossEntropyLoss'>, optimizer = torch.optim.Adam(model.parameters(), lr=learning_rate) #_ <class 'torch.optim.adam.Adam'>, # Train the model total_step = len(train_loader) #_ <class 'int'>, for epoch in range(num_epochs): for i, (images, labels) in enumerate(train_loader): images = images.to(device) #_ torch.Size([100, 1, 28, 28]), labels = labels.to(device) #_ torch.Size([100]), # Forward pass outputs = model(images) loss = criterion(outputs, labels) # Backward and optimize optimizer.zero_grad() loss.backward() optimizer.step() if (i+1) % 100 == 0: print ('Epoch [{}/{}], Step [{}/{}], Loss: {:.4f}' .format(epoch+1, num_epochs, i+1, total_step, loss.item())) --------------------------------------------------------------------------- (スタックトレースは省略．以下，エラー文) RuntimeError: size mismatch, m1: [100 x 1568], m2: [1 x 10] at /Users/soumith/code/builder/wheel/pytorch-src/aten/src/TH/generic/THTensorMath.cpp:2070
変数outのshapeは，torch.Size([100, 1568])だと出てきましたね．答えは1568(=32*32*7)です． これで書き換えれば，何も面倒な計算をしたりprint文を入れていちいち調べなくても，ニューラルネットワークの配列のshapeを揃えることができるわけです． どうでしょう，shape_commentatorの便利さを分かっていただけたでしょうか?
その他の機能
In [1]: import shape_commentator In [2]: %%shape ...: a = "aaa,bbb" ...: b = a.split(",") ...: c = len(b[2]) ...: d = b[0] ...: ...: a = "aaa,bbb" #_ str b = a.split(",") #_ [str,str,] c = len(b[2]) d = b[0] --------------------------------------------------------------------------- (スタックトレースは省略．) IndexError: list index out of range
途中でエラーになるコードでもOK
commentの実行時にエラーで落ちても，途中までコメントが書かれたソースコードが出力されます．
エラーの原因が分かりやすくなるかと思います．
NumPy以外でも，一般のPythonコードにも利用できる
代入されたオブジェクトに.shapeというattributeがなければ，クラス名をコメントとして出力します． ただし，他のプログラミングなどに使うには，listが展開されてしまうので見づらくなる場面もあるかもしれません．
引数にも対応
引数のあるプログラムでも，
python -m shape_commentator src.py arg1 arg2
と言う様にファイル名の後に引数を入れていけば同じように使えます．
コメントの上書き
shape_commentatorを使ってコメントを付けたソースコードを変更して，shape_commentatorを実行すると，コメントの部分が正しいShapeに書き換わったものが出力されます．
これで，ソースコードにShapeを書きっぱなしにしてももう一度shape_commentatorをかければコメントが正しいものになるわけです．
言い換えると，コメントに書いてあるShapeが嘘になってしまうことを防げるわけです．
気づいた方もいると思いますが，Shapeのコメントが通常のPythonのコメントの#とは違って#_になっています．
これは単に実装の都合で，コメントの上書きをしようとするときに#のコメントを使っていると通常のコメントまで消してしまいます．(僕はshape_commentatorの開発途中に，頑張って書いていたコメントを消してしまいました．)
それを防ぐために，#_という#の後に余計な文字を付けてコメントをしていますが，これは今後のリリースで変更するかもしれません．
開発に関して
今後の方針
Python2系対応対応済み- レガシーなコードを読み解くのに有用なツールにしたいため
- PEP 0484の型コメントとの互換対応
- できるのか・・・?
TestPyPI，PyPIへのアップロードのためのCI導入対応済み- Python2系のテストも回す
サイズが大きなlist，tupleでコメントが長くなりすぎないようにする対応済み- TensorFlowなど他のライブラリでの検証
実装 (ありがとうセキュリティキャンプ)
shape_commentatorの実装に関しては踏み込めませんでしたが，そのうち書きたいと思います． ざっくり言うと，ASTを書き換えてshapeを叩いて情報を取得し，それを使ってソースコードにコメントを書き足しています． 簡単にASTを書き換えることができるというのは，セキュリティキャンプ2018 の講義で教わった内容で，講義を受けながらワクワクしてshape_commentatorの構想に思いを巡らせていました． 素晴らしい機会をくださった運営の方，講師の方には本当に感謝しています．
ご意見など
shape_commentatorに関する意見，要望などは，Twitter: @_6v_ にリプやDMをくださればすぐに見ます． ドキュメントが足りていないので，TensorFlowで使えた，Pythonのどのバージョンで動かない，お前のやり方は間違っているなど，何でもご意見お待ちしています．
感想はこのブログやはてなブックマークにコメントをくださると嬉しいです．
GitHubにコードを上げてあるので，気に入った方は⭐️付けてもらえると嬉しいです． github.com
CAMPHOR- Advent Calendar 2018 の明日の担当は tori です． おたのしみに〜！
WSLでCuda toolkitがインストールできない問題について
WSLでCuda toolkitを入れようとして，このページを見ながらやっていたのですが，
sudo apt-key adv --fetch-keys http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/7fa2af80.pub
の部分で
gpg: connecting dirmngr failed: IPC connect call failed
といったエラーが出ました．
エラー文でググると，WSLのバグのようで，
curl -sL http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/7fa2af80.pub | sudo apt-key add
で行けました．
よかった～