読者です 読者をやめる 読者になる 読者になる

NT金沢2013 LT枠「ニコ技動画の難易度を推定してみた」


NT金沢2013でLTしてきました。
タイトルは「ニコ技動画の難易度を推定してみた」。

ニコニコデータセット公開されたのでそのデータを使ってちょっとやってみたって感じです。

やってて途中で思ったのですが、こういう分析ってそもそも指標となる数値がないので、感覚でしか妥当性を評価できなくて難しいですね。

いくつか発表の補足。

動画タグは「ニコニコ技術部」「ニコニコ手芸部」「作ってみた」のうち一つでもついていたら分析対象としています。カテゴリタグでなくても対象に入れています。

難易度キーワードが含まれているかどうかは以下の正規表現で判定しました。

  • なるほど、わからん → '(なるほど)+.*(わからん)+'
  • どこの家庭にでもある○○ → '(家)+.+(もある)+'
  • ねーよw → '(ねーよ|ねえよ|ねぇよ)+'
  • その発想はなかった → '(その発想)+.*(なかった)+'
  • ねえ、簡単でしょ → '(簡単|かんたん)+(でしょ)'
  • 謎の技術 → '(謎の技術)+'

難易度キーワードが含まれるコメント数・動画数は以下の通りでした。

コメント数
なるほど、わからん その発想はなかった ねえ、簡単でしょ どこの家庭にでもある○○ ねーよw 謎の技術
14786 1185 1161 431 32330 3431


動画数
なるほど、わからん その発想はなかった ねえ、簡単でしょ どこの家庭にでもある○○ ねーよw 謎の技術
1723 568 433 250 4361 503


コメント:レア度
なるほど、わからん その発想はなかった ねえ、簡単でしょ どこの家庭にでもある○○ ねーよw 謎の技術
2.19 27.28 27.85 75.01 1.00 9.42


表の最後のコメント:レア度は「ねーよw」1コメントを基準としてそのコメントがどの程度出にくいかを コメント出現数/「ねーよw」出現数 で算出したもので、難易度キーワード量にするときにウェイトとしてかけています。

動画秒数の対数をとっているのは、動画秒数が長くなればコメントが増えるのはあるだろうけど、あまり長くなったところで、飛ばしたりするからそこまでコメント数は増えないだろうという仮説に基いています。検証はしてません。何となく最後の結果が良さそうだったので・・・

分析しててつまったところは以下のような感じです。

  • コメントにUTF-8の範囲外の文字が入っててMySQLにINSERTできない。
    • 一度EUC-JPに変換して特殊な文字を落としてから無理やりINSERTしました。
  • 表記揺れ
    • Pythonのunicodedata.normalizeをかけてある程度、修正した文字列作るのと、キーワードの一部だけの正規表現で何とかしのぎました。
  • コメントの動画における秒数に何故か-1とかが入ってて、UNSIGNED INTにしてたらINSERTできなかった。
    • UNSIGNED外しました(´・ω・`)
  • データ量大きくて集計が遅い。
    • INDEX貼るなり、夜中に集計させるなり。


最後にスライドまでは値が大きい順に10個だけでしたが、100個まで載せておきます。

動画ID タイトル
sm18391671 勝手に入るゴミ箱作った 32077890.65
sm7716983 ガンランス」作ってみた 15093667.15
sm9020236 【等身大】初音ミク作ってみた【01_balladePV】 13233720.09
sm8517855 【プログラミング】テトリスを1時間強で作ってみた【実況解説】 5306275.4
sm9519847 コマ撮り実験アニメ「6566/6566」【Bad Apple!! PV【影絵】アレンジ】 4933336.193
sm5671089 ねるねるねるねをよく練ってみたい 3569908.876
sm2395648 巨大チョコボールを作ってみた 3323854.934
sm9331768 メガドライブがどっか行った 3184873.711
sm8131798 ドリームキャストCore2Duo 3GHz搭載PCに改造し、PS2を動作させてみた (前半) 2442431.662
sm5979758 にとりがゲッダン☆をアレンジしてみた 2363773.562
sm16944590 【第8回MMD杯本選】MMDDFF【FF再現バトル】 1958469.021
sm9121880 ドリームキャストCore2Duoすら積めなかった 1860990.417
sm15478542 【レゴ】工場をつくってみた【機械式】 1856314.828
sm5042812 自作音源で自作曲を演奏してみた/半導体娘計画【新番組】 1811554.238
sm13013900 ◆【自動で】初音ミクが自動で喋るツール作ってみた!【喋らせてみた】 1679467.761
sm3547182 インスタントラーメンを本気で作ってみた 1497022.098
sm1642964 エクセルでひぐらしのなく頃に解OP 1330686.057
sm14649847 ラピュタの飛行石を作ってみた 1327120.247
sm14501433 ファイルを捨てようとすると猛烈に逃げ出すごみ箱作ってみた【6/5修正】 1106278.543
sm13037323 一次元で見る三次元の世界【電子工作】 1097697.489
sm9911765 あの楽器を作ってみたの 1088418.667
sm5146475 【東方】ねんどろいどっぽくないチルノ作ってみた 1071238.987
sm4825084 自転車に乗る初音ミクを作ってみた 1054409.467
sm14365038 感謝500万再生!!全力でスイッチをONするとOFFするロボットをいじめてみた 1020059.99
sm15057636 コメントを勝手に打ち上げてみた 964738.2828
sm16238908 交通事故・渋滞シミュレータつくってみた 944693.6548
sm14557696 ニコニコ動画2ちゃんねる化してみた 906047.6537
sm9951661 サターンコントローラーがみなぎった 888453.907
sm18508945 脚のはえた紙飛行機の折り方 863925.1678
sm2857363 エアーマンを作ってみた 855301.0477
sm17606436 【折り紙】バラを折ってみた 848113.5274
sm14178969 事件が解決した時のために蝶ネクタイ型変声機作ってみた 813011.5653
sm19148403 全力でスイッチをONするとOFFするロボットと戦ってみた 707952.7447
sm7687446 【感謝殿堂入り!】全力でレポートを自動で書くロボットをつくってみた 645166.4792
sm4163666 【再うp】爪楊枝を亜音速で飛ばしてみた 594278.5051
sm3584410 プログラミングをしてみない? 第一回 563721.3647
sm2420025 3Dミクを躍らせるツールを自作してみた(説明前編) 562991.4155
sm15050039 魔法少女まどか☆マギカ完結版OPをコメントで作ってみた【手打ちMAD】 548782.8102
sm9127380 画像をぷるぷるにするソフト作ってみたVer 2.00(仮完成) 545380.4794
sm6557955 小さな名探偵と対決するかもしれないからトランプ銃作っておいた 540746.994
sm4536591 思わず光る泥団子を作りたくなる動画 534312.3407
sm6107695 家庭でできる飲食店のチャーハン【3分】 528219.8075
sm9334027 会社で女子社員と絶対に仲良くやれる方法 基本編 479034.7776
sm9678556 囲碁でBad Apple!!影絵【コメントで比較動画On/Off】 464786.6745
sm16657890 君の知らない物語をリコーダーが吹いてみた【RePRo】 456295.7704
sm7783955 暇だったからPC作ってみた 408587.4899
sm16563671 黒ゴマを本気で並べてみた 396211.9579
sm14439315 キーボードのボタンをひたすらチロルチョコにしてみた 394963.3993
sm15685988 初音ミクProject DIVAドリーミーシアター専用アーケードを作ってみたの 355967.9323
sm4214520 マウスカーソルにネギを振らせてみた 354733.8482
sm7862347 [実写合成]お祭りに行ってきた~広島ふれあい街歩き[3D] 341415.0933
sm15614821 【限りなく】自転車にエンジン本気で載せてみた【自転車】 338366.0617
sm6280081 midiで音声を表現するテスト 331918.5911
sm9277616 【画像ぷるぷる】違った視点でソフト作ってみた 316852.0098
sm16783778 合法的に「くぱぁ」ができるアプリ【Android 311102.1517
sm18567281 エロくないけどエロく聞こえる単語のみで千本桜歌ってみた 305638.7245
sm4677951 【自作】フルメタル輪ゴム鉄砲『シルバーウルフ』 291066.0175
sm9560637 コマ撮り実験アニメ「6566/6566」のメイキング 274663.8997
sm9850771 V-Sido】動くユニコーンガンダムを作ってみた「試作偏」 272318.4514
sm14334128 エスカレータを作ってみたの 272031.7756
sm2499322 スーパーファミコンWindowsXPをインストールしてみた 271860.5691
sm8346977 エレクトーンをコントローラーにして「テトリス」をやってみた 270842.8104
sm8652644 ドリームキャストCore2Quad 2.8Ghz・フルセグ・Windows7を搭載してみた-前編 264046.5656
sm8854710 【東方】Bad Apple!! PV【影絵】 で 「砂絵」 263891.9429
sm3515017 PS2コントローラとMIDIの変換器を作って演奏してみた 257350.7214
sm15950829 怪力マジックハンド作ってみた 243335.8451
sm8358490 澪ベース作ってみた 242633.7909
sm1525986 ガラスで【もやしもん】の菌を作ってみた。オリゼー 240926.7228
sm7189154 アーケードPCを作ってみた 238323.9359
sm2999516 CPLDでつくるフレームバッファ 233558.4194
sm14078098 Bad Apple!!をガスバーナーでやってみた 230457.6482
sm5846766 PSPをさらに痛くしてみた。【作ってみた】 229151.9446
sm5500549 レゴでコマ撮りしてみた 226272.0851
sm4891618 【ニコニコファイターズ】四月馬鹿が新作格闘ゲームを紹介 223724.9044
sm17462403 高2が作った「テスト」動画のクオリティが高すぎる件 220492.7134
sm13031594 1/1スケール ハリボテエレジー完成 214804.3886
sm5823684 PSP作ってみた 193975.3485
sm7224736 LEGO】レゴで飛び出る金閣寺を作ってみました【レゴ】 191070.7226
sm5827770 グレネードランチャーを作ってみた 188610.2757
sm17259927 2台のHDDで「only my railgun」を演奏してみた 185848.8758
sm9007652 パズー砲を頑張って再現してみた。 184207.5386
sm13581709 初音ミク】みくみくみくみ【飛び出すコメント】 183494.2291
sm4599218 【東方】ねんどろいどっぽい魔理沙作ってみた 179868.829
sm18255743 初音ミクとデートしてみた 172407.1227
sm17652211 おっぱいみるくしぼるよ 164940.7538
sm7766150 はちゅねに 消失 Hardをクリアしてもらったよ。 161482.084
sm4532111 MMDWiiバーチャルリアリティ作ってみた 156674.8925
sm9386617 羊毛フェルトでハムスターを作ろう♪ 156053.5057
sm16890745 【遊べます】千本桜【タイピングゲーム】 154405.4133
sm17550572 立体に見えるGIFアニメを作れるソフトを作ってみた 149695.7874
sm8670470 ダイソンのアレを作ってみた 145682.6732
sm9635422 ポケモンHGSSにでてくるアサギシティを紙で建設してみた。 142429.9534
sm6865880 レールガンを作ってみた。【前篇】 138076.47
sm13574356 【第6回MMD杯本選】Rubik's Cube 136774.5147
sm3475630 バカPC 132373.704
sm7059978 【HG版】たこルカを作ってみた【巡音ルカ 130973.1231
sm6155509 拷問と処刑の歴史~古代~ 1/4 128101.1601
sm13782926 AIR鳥の詩」のレコードを作ってみた。 126974.1003
sm6469266 レゴでピタゴラスイッチを作ってみた 4 126413.5598
sm17980740 絶対に傘を盗まれないグリップカバーを編んでみた 124519.4622