案例： 查询某地的人口数量与平均年龄；

分析:使用Spark查询人口的数量和平均年龄，首先我们使用Spark SQL 方式查询，将原始数据读入，将其转化为DATAFRAME，然后是SQL方式计算：

1. 准备实验数据代码如下：

   object demo {  def main(args: Array[String]): Unit = {    val write = new FileWriter("e://data.txt",false)    val rand = new Random()    for (i <- 1 to 1000){      write.write(i + " " + rand.nextInt(100))      write.write(System.getProperty("line.separator"))    }    write.flush()    write.close()  }}

2.创建Spark SQL 查询平均年龄

Counts {  main(args: Array[]): Unit = {    conf = SparkConf().setAppName().setMaster()    sc = SparkContext(conf)    sparkSession = SparkSession.().getOrCreate()    schema =         (              (, IntegerType, ) ::                (, IntegerType, ) :: )    people =          sc.textFile().map(            _.split()).map(p => (p().trim.toInt, p().trim.toInt))     dataFrame = sparkSession.createDataFrame(people, schema)    dataFrame.printSchema()    dataFrame.createOrReplaceTempView()    sparkSession.sql().show()  }}

3.创建Spark SQL 查询平均人口总数

Counts {  main(args: Array[]): Unit = {    conf = SparkConf().setAppName().setMaster()    sc = SparkContext(conf)    sparkSession = SparkSession.().getOrCreate()    schema =         (              (, IntegerType, ) ::                (, IntegerType, ) :: )    people =          sc.textFile().map(            _.split()).map(p => (p().trim.toInt, p().trim.toInt))     dataFrame = sparkSession.createDataFrame(people, schema)    dataFrame.printSchema()    dataFrame.createOrReplaceTempView()    sparkSession.sql().show()  }}

总结：在读入数据使用Spark SQL 计算是首先需要知道数据的的结构类型，然后创建相应的数据结构。读入数据将其转换为DATAFRAME。在计算之前可以将数据打印一部分出来看看。