Google BigQuery を使って GitHub のデータを研究しよう

2012年6月1日金曜日 | 14:44

Labels:

Posted by 山崎富美 Developer Relations Team

[本記事は、Web Performance Engineer の Ilya Grigorik が書いた"Using Google BigQuery to learn from GitHub"を元に翻訳しました。Ilya は、Google のウェブパフォーマンスエンジニア兼アドボケイトであり、オープンソースのエヴァンジェリストであるとともに分析ギークでもあります。Ilya についてもっと知りたい方は、igrigoriki や igvita.com をご覧ください。-山崎]

世界中のオープンソースプロジェクトの開発者の皆さんは、毎日、コードを書いたりレビューをしたり、バグレポートを書いたりバグについて議論をしたり、ドキュメントやプロジェクトの wiki を更新するなど、何百万ものプロジェクトに貢献しています。 こうした活動を通じて生まれたデータは、プログラミング言語の人気の推移、欠陥率、貢献度、特定のフレームワークやライブラリの人気を含む、産業全体の興味深いトレンドを示しています。

これらのトレンドを分析するときに難しいのは、どうやってデータを集めるかです。 それぞれのプロジェクトには、それぞれのワークフロー、コードリポジトリ、規約が存在します。私自身が携わっている多くのプロジェクトも GitHub 上にホストしていますが、GitHub 上にホストされた 260 万以上の公開プロジェクトから、開発者の活動を分析したいとずっと思っていました。 そのため、今年初めに GitHub Archive が作られたのです。

GitHub Archive は、公開されている GitHub のタイムラインを記録して、それをアーカイブ化して、更に分析をするために簡単にアクセスできるようにするプロジェクトです。 毎日、12 万件以上の公開された活動をアーカイブします。そこには、新しいコミットやイベントのフォーク、チケットをオープン、クローズする活動が含まれ、それぞれ詳細なメタデータが付与されています。

こうしてデータが集まり、それを分析するためのツールが必要となった時、Google BigQuery を知りました。 Dremel(ウェブスケールのデータセットを分析するための、Google 社内で人気のあるツール)での研究をふまえ、BigQuery は、データセット全体のインポートを簡単にし、SQL のようなシンタックスで数ギガバイトのデータを数秒で調べることができます。 また、このツールを使えばテラバイト級のデータセットにも対応できるので、成長の余地が多くあります。

そして、GitHub チームと BigQuery チームのコラボレーションのおかげで、GitHub データセットが公開となり、いろいろな分析を行うことができるようになりました。データを集めることやデータベースのスキーマについて心配する必要はありません。重い作業は BigQuery がすべて行なってくれるので、皆さんはリアルタイムに実行されるクエリを組み立てるだけです。

実例を紹介しましょう。これは、この一ヶ月の GitHub 上で最も人気のあるプログラミング言語を表示しています。



詳細を知りたい方は BigQuery にサインアップし、githubarchive.org にある手順説明をご覧の上、GitHub データセットにアクセスしてみてください。100GB のクエリ割り当てを無償で利用することができます。


Android 版 Google 日本語入力をアップデートしました。(1.5.1089.3)

2012年5月31日木曜日 | 15:16

Labels:

Posted by 山崎富美 Developer Relations Team 

[Google 日本語入力チームのソフトウェアエンジニア、松崎剛士から Google 日本語入力のアップデートについての寄稿をもらいました。- 山崎] 

 Google Japan のオフィスにはエスプレッソマシンが何台か設置してあります。本格的な機械なので使うのが難しく、不慣れな人が先輩社員からレクチャーを受けている光景がよく見られます。普通に淹れられるようになるだけでも嬉しいものですが、一部の人はさらなる高みを目指し、はっぱやハート、あるいはもっと複雑な図形をラテアートして楽しんでいます。アワアワになりすぎて愕然とするようなレベルの僕からすると、もはや未知の領域です。



さて、本日、Android 版 Google 日本語入力をアップデートしたことをお知らせします。既に Google 日本語入力をお使いの場合は通知バーに通知が出ますので、指示に従いアップデートしていただくようお願いします。Google Play にて Google 日本語入力の自動更新を有効にしている場合は、自動で更新されます。

 主な変更点は以下のようになります。

  • 辞書を更新しました。 
  • よみがなの一番最後の濁点を省略したり小文字にしていなくても、変換候補が表示されるようになりました (ケータイ配列のみ) 。 
    • 例: “とうきよ" → “東京" 
  • 画面が狭い場合に全画面表示するようにしました。 
    • この動作は設定で変更可能です。 
  • 絵文字入力画面にて、各キャリア特有の絵文字を入力できるようになりました。 



  • 絵文字が使えない入力欄では、絵文字タブに注意が表示されるようになりました。 
  • 入力欄の種類に応じて、キーボードを切り替えるようにしました。 
    • 例: パスワード入力欄では英字入力に切り替わります。 
  • キーボードの文字やアイコンがさらに綺麗に表示されるようになりました。 

これからも、Google 日本語入力をよりよくしようと、チーム一同で開発を進めていきます。お気づきの点がありましたら、ぜひプロダクトフォーラムか、設定画面のフィードバックの項目からお知らせください。みなさんのご意見、ご感想がなによりの励みになります。


Google APIs Explorer が変わりました

2012年5月30日水曜日 | 18:17

Labels:

Posted by 山崎富美 Developer Relations Team

[本記事は、Google Developer チームの Antonio Fuentes と John Moshenko が 5 月 23 日 に Google Developers Blog に投稿した 「The Google APIs Explorer has a new look」という記事を元に、翻訳したものです。詳しくは元記事をご覧ください。 - 山崎]

昨年 3月、「Google API Explorer」という Google API を試したり、メソッド検索が簡単に行えるツールをご紹介しました。(日本語記事)ローンチした時は 7 種類の API をサポートしていました。

このたび、この API Explorer のUI を変更しました。新しい UI で、API を簡単に、楽しく探すことができます。また、API コールのインデックス化された履歴、リクエストのボディを編集するエディタ、API とメソッドを簡単に検索できる検索ボックスなどの新しい機能が追加されました。


また、サポートしている API も追加しました。 現在、Explorer は 28 種類の API をサポートしており、増え続けています。さらに、認証が必要なメソッドを識別するためのインジケーターを追加しました。

以下は、API Explorer で試すことができるサンプルリクエストの 例です。

API Explorer を使えば、Google API を簡単に使い始めることができます。API Explorer に関する詳細はこの資料をご覧ください。皆さまからのフィードバックは、こちらのフォーラムにお願いします。

Google API Expert ミーティング 5 月を開催しました

2012年5月24日木曜日 | 18:26

Labels:

Posted by 山崎富美 Developer Relations Team

Google API Expert は Google が認定した API やツールに精通したデベロッパーの方々です。現在、21 名の Google API Expert が 8 つ の準公式コミュニティを運営し、Google が提供する API やツールを利用するデベロッパーの皆さまをサポートしています。

【準公式コミュニティと API Expert の一覧】
http://sites.google.com/site/devreljp/Home/api-expert

5 月 22 日に開催された 第 42 回 API Expert ミーティングから、いくつかハイライトをお伝えします。 今回は 来月に迫った Google I/O 2012 が話題になりました。 今回も多くの API Expert の皆さんが現地サンフランシスコに行く予定です。

また、Google 東京オフィスでは Google I/O Extended が開催されます。基調講演やセッションのライブ中継のほか、現地サンフランシスコから Googler や API Expert の皆さんが様々な情報をお伝えする予定です。 なお、昨年と同様に GTUG 主催で Google I/O 報告会を予定しています。詳細については、近日中にこのブログでお知らせします。

【分科会より】
各技術分野で行われている分科会からいくつかトピックを取り上げます。
■ Places ライブラリの Auto Complete 機能に地域、都市フィルターを追加 http://goo.gl/AcPhq
■ Google Places API 検索機能が改善 (キーワード検索、距離別結果など) http://goo.gl/NoMiP
■ Chrome ブラウザ Stable 版で実験的な機能として Web Intents API が動くようになりました http://goo.gl/SX60u
■ Google Cloud SQL 課金体系を発表 http://goo.gl/FsMey
■ Google Apps Script にバージョン管理とライブラリ機能を導入 http://goo.gl/LU1BT
■ Google App Engine で 全文検索 API をリリース http://goo.gl/kEbMi

【リリース】
■Google+ ハングアウトオンエア機能を一般公開 http://goo.gl/88Y5N
■Google App Engine 1.6.6 SDK をリリース http://goo.gl/zwUGQ

【イベント】
■ 第 30 回 HTML5 とか勉強会 - 6 月中旬に Google 東京オフィスにて開催予定
■ Google I/O 2012 Extended - 6 月 28 日 午前 0 時より Google 東京オフィスにて開催予定 http://goo.gl/qxIa9
■ Google I/O 2012 報告会 - 7 月初旬に予定


次回の API Expert ミーティングは、6 月中旬の開催を予定しています。

Google 日本語入力の開発版をアップデートしました。(1.5.1090.10x)

| 16:16

Labels:

Posted by 山崎富美 Developer Relations Team

[Google 日本語入力チームのソフトウェアエンジニア、阿部秀彦から Google 日本語入力の開発版のアップデートについての寄稿をもらいました。- 山崎]

新緑の季節となりました。先日は日本で 173 年振りに金環日食がみられると盛り上がりましたが、英語で eclipse と書くとなんだか大変身近なものに感じます。

さて、Google 日本語入力開発版 (Win, Mac) をアップデートしたことをお知らせします。既に Google 日本語入力開発版をお使いの場合は自動的に更新されますので、そのままお待ちください。

主な変更点は以下のようになります。

共通の変更点

  • Web から構築した辞書を更新しました。
  • 「ふいんき→雰囲気」のような、一般に幅広く知られている誤読を「もしかして」の形で提示する機能を追加しました。
  • 漢数字変換の大字変換を変更し、「壱」を省略しないようにしました。例えば 1111 を変換すると「阡百拾壱」ではなく「壱阡壱百壱拾壱」になります。
  • 全角カタカナモードや半角英数モードで、「スペースの入力」設定が反映されないことがある問題を修正しました。
  • キー設定やローマ字テーブルを編集するときに、候補の並べ替えを行ってから「新しいエントリー」を選択すると、設定ツールがクラッシュすることがある問題を修正しました。
  • 文字を一文字だけで再変換すると、Unicode 表記に変換できるようになりました。 (例: 『♪』を再変換 → 『U+266A』)
  • デフォルトキーマップを変更し、Chrome OS 用に追加されていた、Ctrl+1、Ctrl+2 などの特殊なショートカットを各キーマップから削除しました。

Windows 版の変更点
  • 辞書ツールを起動している状態で再度辞書ツールを起動したときに、既に起動しているウィンドウが前面に出てこないことがある問題を修正しました。

これからも、Google 日本語入力をよりよくしようと、チーム一同で開発を進めていきます。お気づきの点がありましたら、ぜひプロダクトフォーラムからお知らせください。みなさんのフィードバックがなによりの励みになります。

モバイルネットワークにおける SPDY のパフォーマンス

2012年5月22日火曜日 | 14:12

Labels: , ,

Posted by 山崎富美 Developer Relations Team

[本記事は、モバイルウェブパフォーマンスチームの Matt Welsh、Ben Greenstein、Michael Piatek が 5 月 1 日 に Google Developers Blog に投稿した 「SPDY performance on mobile networks」という記事を元に、翻訳したものです。詳しくは元記事をご覧ください。 - 山崎] 

SPDY とは、HTTP の代替技術であり、HTTP に関連する多くのオーバーヘッドを取り除くことによって、ウェブページの伝送速度を向上することを目的として設計されました。SPDY は、速度に関して、HTTP を上回るよう、いくつかの最適化をおこなっています。 これまでに多くの支持を得ており、Chrome、Firefox、Amazon Silk で SPDY は実装されており、Google によって広く展開されてきました。さらに、Apache では、SPDY サポートとして、mod_spdy モジュールが開発されました。

さて、SPDY と HTTP の性能を人気のあるウェブサイトで比べてみました。ここでは、Samsung 製の Android OS 搭載端末 Galaxy Nexus を使い、最新かつ SPDY 対応のブラウザ(Chrome for Android)で、実際のウェブサイト(31 個の人気ドメインの 77 個のページ)にアクセスしました。

その結果、HTTP に比べて、SPDY では、これらのサイトからの平均ページ読み込み時間が 23% も改善されることが明らかになりました。つまり、SPDY は、HTTP の 1.3 倍のスピードアップということになります。3G や 4G のモバイルネットワーク上で SPDY パフォーマンスを向上させるためには、これから多くのことが必要ですが、この結果はスタート地点としては将来有望といえるでしょう。

次のグラフは、HTTP と SPDY について、測定した 77 ページそれぞれのページ読み込み時間(単位:ミリ秒)を表したものです。 グラフが示すように、1 つのケースを除き、SPDY の方が読み込み時間が短く、中には 50% 近くも短くなったケースもあります。


測定方法と結果に関する詳細は、こちらの記事をご覧ください。

Google App Engine で全文検索が可能になりました

2012年5月21日月曜日 | 16:10

Labels:

Posted by 山崎富美 Developer Relations Team

[本記事は、Google App Engine Full Text Search Team が投稿した"Looking for search? Find it on Google App Engine"を元に翻訳しました。-山崎]

全文検索は、常に Google App Engine に対して頂くリクエストの上位のひとつでした。昨年の Google I/O でこの機能について講演して以来、開発者のみなさんにこの機能を提供すべく開発を続けてきました。そしてこのたび、全文検索の機能を実験的な機能として、発表しました。

Search API は、Google App Engine の他の機能と同様に、Google のインフラの一部を活用し、アプリケーションに全文検索を追加することができます。今回のリリースには特定のフィールドや範囲の検索、さらに先進的な機能として、検索結果のスコアリングやスニペット(検索結果のサマリー表示)も含まれています。製品をインデックス化して価格の範囲を検索したい場合や、記事やコメントのキーワードを検索したい場合などに、Search API のテスト利用ができます。

皆さんがアプリケーションに検索機能を入れる際のお役に立てるよう、サンプルアプリケーションと解説、問題点などをドキュメント化しました。この実験期間には、テスト用に 制限付きの Free Quota を提供しています。

Google は、trusted tester にご参加くださったすべての方々のご協力とフィードバックに感謝しています。皆さんのおかげでローンチすることができました。今後もグループにてフィードバックをお待ちしております。

Happy searching (and finding)!