Github上的有趣统计结果

github BigQuery 统计| 2016-08-02

近日看到了Google的BigQuery技术，用类似SQL的语言来做一些数据的分析。而Github也加入了进来。闲来无事，就去体验了一把。这是相关文章的地址。

BigQuery语法

整体的语法都和SQL非常接近，鉴于点进来的人很多都是冲着“有趣”这两个字来的，就不过多介绍代码了。这段代码的作用是找到github仓库中，使用Python语言的仓库中，前10个被引用的库。

SELECT
  package,
  COUNT(*) count
FROM (
  SELECT
    REGEXP_EXTRACT(line, r' ([a-z0-9\._]*)\.') package,
    id
  FROM (
    SELECT
      SPLIT(content, '\n') line,
      id
    FROM
      [bigquery-public-data:github_repos.sample_contents]
    WHERE
      content CONTAINS 'import'
      AND sample_path LIKE '%.py'
    HAVING
      LEFT(line, 6)='import' )
  GROUP BY
    package,
    id )
GROUP BY
  1
ORDER BY
  count DESC
LIMIT
  40;

BigQuery的界面也非常有Google风……