spark读取hdfs文件

Spark指定读取hdfs文件的实现

spark读取hdfs时，通过重写FileInputFormat<LongWritable, Text>类，实现自定义TextInputFormat，对读取的hdfs文件的切片进行过滤，从而起到指定读取hdfs文件的效果。