(一)什么是序列化与反序列化
序列化就是把内存中的对象,转换成字节序列(或其他数据传输协议)以便于存储到磁盘(持久化)和网络传输。
反序列化就是将收到字节序列(或其他数据传输协议)或者是磁盘的持久化数据,转换成内存中的对象。
(二)为什么要序列化
一般来说,“活的”对象只生存在内存里,关机断电就没有了。而且“活的”对象只能由本地的进程使用,不能被发送到网络上的另外一台计算机。 通过序列化可以存储“活的”对象,可以将“活的”对象发送到远程计算机。
(三)Java自带的序列化
下面我们来看一个例子:通过代码来定义一个类,并创建它的一个对象,把这个对象保存到文件中(序列化),然后再写代码读取这个文件并还原回来。
java中的序列化需要在定义类的时候实现实现 java.io.Serializable 接口。在序列化时,使用ObjectOutputStream的writeObject方法把类写入某个文件。在反序列化时,使用ObjectInputStream的readObjec方法来还原这个类。
public class Student {public Student(String name,int age) {this.name = name;this.age = age;}String name;int age;
}
(四)为什么hadoop不用Java的序列化?
Java的序列化是一个重量级序列化框架(Serializable),一个对象被序列化后,会附带很多额外的信息(各种校验信息,Header,继承体系等),不便于在网络中高效传输。所以,Hadoop自己开发了一套序列化机制(Writable)。
Hadoop序列化特点:
(1)紧凑 :高效使用存储空间。
(2)快速:读写数据的额外开销小。
(3)互操作:支持多语言的交互。
(五)hadoop的序列化
如果一个类支持hadoop的序列化,那么它应该要实现Writable接口,并提供一个空参构造器。
Writable接口需要我们去实现两个方法:write和readFields。
先来看write方法。序列化的时候,它会自动被调用,将一个内存中的对象,序列化成为一个字节序列。它的入参DataOutput是一个输出流。需要在这个方法中对需要序列化的属性依次进行序列化。如果序列化的属性不是Hadoop的序列化类型,就要调用相应的方法把它进行序列化。例如:out.writeUTF(name),out.writeInt(age)。如果本身就是序列化的属性,就调用这个属性的write方法,写入输出流
学生类:Stduent类
public class Student implements Writable{public Student(String name,int age) {this.name = name;this.age = age;}public Student() { }public String name;public int age;@Overridepublic void write(DataOutput dataOutput) throws IOException {dataOutput.writeUTF(name);dataOutput.writeInt(age);}@Overridepublic void readFields(DataInput dataInput) throws IOException {name = dataInput.readUTF();age = dataInput.readInt();}}
测试类:TestStudent
package com.example.serial;import java.io.*;public class TestStudent {public static void main(String[] args) throws IOException, ClassNotFoundException {Student student = new Student("小花", 18);// hadoop序列化DataOutputStream dos = new DataOutputStream(new FileOutputStream("Student_hadoop.txt"));student.write(dos);// hadoop 反序列化DataInputStream dis = new DataInputStream(new FileInputStream("Student_hadoop.txt"));Student student1 = new Student();student1.readFields(dis);System.out.println(student1.name+ " "+student1.age);}
}