大数据学员作品-Bigo

1. 使用eclipse开发maven项目，采用spring+springmvc+mybatis框架，web-bigo里面存放了所有的前端代码，sso-bigo项目里面是关于单点登录，common-bigo项目里是使用的很多工具类，collection-bigo主要是收集资源项目进行比较，parent-bigo里面是父级依赖，主要用于存放所有的jar。

2. 在云主机上进行搭建ElasticSearch搜索进行查询，由于数据量不是太大，主要是对搜索模块进行熟知操作，搭建Redis集群，共搭建了1个集群，1个主节点和两个从节点，使用Nginx进行负载均衡，采用分布式的框架进行搭建，动态页面的生成。

3. 通过使用xshell与云主机或者是虚拟机进行建立连接，采用的虚拟机是12版本的镜像采用的CentOs 7 版本，对于文件的上传采用的Switchhost，数据库采用的是关系型的数据库mysql。

4. 功能实现模块

(1) 爬取模块 爬取对一类商品的某个品牌，涉及到爬取速度，反爬虫机制等问题

(2) 商品比价 对于同一个商品，查询不同网站的价格信息，优先客户选择。商品的

价格信息获取，展示。价格等信息的传递，缓存的存放等问题。

(3) 登录注册模块 有单点登录，自动登录与保存密码等功能，涉及到一些乱码，编码的处理。架构之间，项目之间的参数传递等问题解决

(4) 代码逻辑分层有控制层、业务层、映射层，配置接口与一些通用类，涉及到到拦截器与监听器。

5. 负载均衡nginx 采用的是分布式的环境，配置主节点防止单节点涌入大量的数据，从而引起宕机，涉及到地址的对接，参数的改变、端口号等信息。