TB级图片站。图片存储方案整理

admin

下期有时间分享国内图片站行业的各个大佬盈利模式
包括公布一年前 今年 和目前非常流行的盈利模式 以及对目前模式可持续时间的分析
另外分享下已经进去的，已经逍遥法外的，已经元气大伤的各路英豪的光辉事迹
但本帖仅谈图片存储与分发最省钱的方案

2016-12-26-03-10
----------------------------------------------
图片存储方式的方式太多。
但我目前的方案不敢说最省钱，或许没找到适合我的最省钱方案。
如有比我更省钱的方案 请赐教
必须要找到一种适合自己的，时候自己长期发展的图片存储方式
在不考虑钱的情况下 什么都简单。买台大硬盘杜甫什么都搞定了。
在经过多次折腾后，我目前最新的方案已稳定运行一个月
但我目前的方案不一定适合所有人。

为了更省钱，我的架构变化好多次。
第一次方案 国外虚拟主机 +免费CDN
第二次方案 国内新浪WBAPI
第三次方案 国外VPS  +免费CDN
第四次方案 国外杜甫  +收费CDN
第五次方案 国内杜甫  +收费CDN
第六次方案 国内腾讯COS  +收费CDN
第七次方案 国内腾讯COS  +国外大硬盘机器给做缓存 +免费CDN
第八次方案 国外大硬盘 +国外大流量 +免费CDN
第九次方案 网上绝壁没公布出来的省钱方案之一，如有更好的方案，欢迎赐教。

一楼先把前五次方案简单说完略过  其他方案下面楼继续
因为前五次方案没什么好说的，就是正常需求，
随着文件越来越多换杜甫然后为了用户更好的体验上收费CDN

提前透露下第九次方案  跟我小学时期收到我同桌的小纸条一样有意思
当我收到小纸条的时候万分惊喜，因为她在哪里搞那种粘贴画之类的东西 写着 勿忘我。我以为对我有意思了。
当我打开小纸条的时候万分感动，简简单单的六个字   卑鄙，无耻，下流  。
虽然是骂我的，但毕竟是人生第一个妹子给的小纸条！
20多年后的今天，依然感动，妹子你说的太对了。 详细的在第九次方案再说了

admin

第六次方案 国内腾讯COS  +收费CDN

这种方案搞起来要比国外杜甫存图片省钱的多，可以到官网估算下价格

因为第五次方案使用国内杜甫+国内收费CDN就是为了给用户更好的体验
但杜甫硬盘是有限的，特别是硬盘存满后IO是个问题
前面说到了，最早有好多用wordpress做的网站 这东西图片存储方式每个月把文件存到当月的目录下
这种插件很多 远程附件之类的 把图片附件存储在远程的FTP上
简单实现网站和附件的分离。比如Hacklog Remote Attachment
这就导致一个文件夹下好多图片，我是个非常能折腾的人，我必须得把原始数据备份在多个地方，以防万一
有一次硬盘满了，我想给某个文件夹压缩后下载到本地进行备份，但硬盘满了。
所以我就想这种架构肯定是不行了，本来就中学没毕业 其他技术根本不懂啊，那么就开始找各种云存储
因为腾讯COS可以用FTP方式上传文件，这样就非常适合我的那些wp站
前期挺顺利的，费用也很低，还能负担得起，
采集到不怕，就算有人用国内机器去采集也花不了多少钱
但恶意刷流量的给我搞怕了。更有甚者一宿刷20TB流量的
比如国内这些服务器，类似腾讯云，他们可以按需付费，他们的机器下行带宽没那么大限制
想报复的也不需要购买大的上行带宽，只需要最低标准1M即可，然后开N台按需付费机器从你的收费CDN获取图片
这个太恐怖了，当时有个朋友最便宜可以帮我搞到1.5毛钱1GB的CDN 也是国内大公司的 ，仍然放弃了
经过各种不愉快的事件后导致我升级到了下面的方案

admin

第七次方案 国内腾讯COS  +国外大硬盘机器给做缓存 +免费CDN

由于被刷流量，第六套方案必须放弃。
但在当时能能力范围内 并无其他选择
想过把图片迁移到亚马逊 当时还有景安也有云存储，还是流出流量免费呢，反正经过各种分析，这些都不能用。

当时也想不到梗省钱的方案。那就在现有基础上减轻被刷流量的痛苦，
于是我在国外搞大硬盘的机器 来给腾讯COS做缓存 然后在套上免费CDN
这样那些wp网站存图片的方式也没改变 而且还解决了被刷流量的问题
腾讯cos只负责存储图片，然后国外大硬盘机器从COS获取图片保存到本地在给CDN
相当于腾讯COS只需要花存储+第一次外出流量的钱。
做缓存机器的架构我使用的NGINX   前期也用 zijidelu 百度下好了 简单易用 可以一台机器控制好多机器
比如洛杉矶QN机房G口那种  当时洛杉矶QN机房到国内180的ping
要么是100M 不限流量 要么G口限制一个月30T流量 反正洛杉矶的就是贵

这个方案用了小半年吧然后我开始接触超过20MB单张的图片了
国内那种老牌大厂的图都不是要解决的，只有新厂子 推女郎这类的会超过20M以上
难点在于日本的cosplay 和国内WB的收费图  大部分20M单张的原始图
为了保证搜索引擎认为你是绝对的原创，页面默认显示经过裁切压缩的图并链接一张原始质量的大图。
这种20M单张的大图更新频率太快了，用户还喜欢，这就导致图片到达用户浏览器需要经过如下步骤
我本地图片压缩裁切修改EXIF 上传腾讯云COS -国外缓存集群从腾讯拉取数据-国内CDN从国外机器获取数据
虽然解决了被刷流量的痛苦，但那种20M单张的大图传输速度非常不理想

admin

第八次方案 国外大硬盘 +国外大流量 +免费CDN

第七套方案的问题，传输速度慢一点，但并不是不能忍受，
准确的说并不是速度慢影响的我放弃使用腾讯COS 而是一些列问题
工作当中总会遇到各种问题。应该是很多问题吧。

由于需要修改图片EXIF和压缩裁切的工作越来越多
我本地电脑真的不想总是24小时去开机搞这些东西
30GB的图片 全部弄完得6个小时或者更久，家里一台老电脑24小时不间断的压缩打水印 4核 Q9300 买4年多了 或者更久
用北京联通网络的都知道 100M光纤的带宽上传也是被限制在1.5M/S  通过家里上传图片越来越不方便
而且本地电脑的图片容易搞混，本来应该是给A站上传的 结果传到B站上面。

于是我购买了国外高配置的机器来做图片原创的工作 ，
也就导致我不可能把国外机器已经原创完的图片在拉回国内上传 这个速度太慢了
那么通过国外机器直接往腾讯COS传输的速度呢？ 更惨  这个应该是不能继续使用腾讯COS最重要的原因吧
虽然腾讯COS可以从其他服务器拉去图片，但这么做没任何意义，还不如干脆用国外的机器做存储

反正这些问题都是导致我把数据一次次的从国外迁移国内在迁移到国外的原因
这时候我的架构是 欧洲大硬盘机器比较便宜   配合洛杉矶QN机房给其他CDN做周转
图片原创工作和上传都在欧洲那边机器做，节省下来的钱就是赚到的。

题外话，当时我用proxmox创建不同的windows小鸡 然后分开压缩不同网站需要的图片，遇到的问题是小鸡里面硬盘数据删除后 母鸡硬盘容量不减少
这个应该是个 proxmox 错误，不知道现在这个问题解决了没有，有知道的麻烦告诉下。

admin

一楼已经说了 这个架构让我想起同桌递给我的小纸条
不建议大家这么搞，但强迫症患者无药可救
经过各种折腾我目前正在使用的方案是
-------------------------------------------------------------------------
一台机器的硬盘总会满的，期间学会了raid0，但仍然不能终究解决硬盘满的问题
那么最好的解决办法 完全删除这个站点的所有数据。人工的时间需要用在别的地方上
所以学会了利用Nginx 一个网站调用多台机器里面的数据。也是目前方案的最初想法

我正在慢慢的往新架构迁移，只剩最后一台再开机，截图留个纪念，再过几天就可以关闭了



总是折腾来折腾去好累，但我们不都是这样吗？
我大中华的网络就这样，这不是我们能解决的。只能换个思路
但是你有几TB数据的时候，你还能来回换机房折腾吗。
还得考虑 数据传入是否方便，以及删除是否方便。

国外靠谱的只相信亚马逊。 但我找到了比这个还要省钱的方案。
两个月前我去欧洲那边购买大容量的虚拟主机。到现在一直稳定运行
我的在哪里买的就不明说了，这东西很好找的。大家分散开来~以免被一锅端了

别认为主机商不限制文件存储就疯狂的存数据，别太过分了。
感觉差不多了就购买新的空间，太贪肯定被删除的，你购买的多了后主机商也不会轻易删你。
国外网络总是很好，就算虚拟主机在欧洲，北美也可以很快的传输文件。
这种机器配置就无所谓了，Nginx从虚拟主机转换文件路径吃CPU很小
根据当前时间段调整当前线路最好的小鸡给CDN抓取
现在说下前端小鸡的Nginx 配置
比如编号为046这个网站 目录/uploads/2016/12 存放在编号为hosting021的虚拟主机上
  location /uploads/2016/12 {
    }
  location /uploads/2016/11 {
    }
  location /uploads/2016/10 {
    }

配合各种智能解析 比如我新建一个专门给 国内CDN节点抓取数据的域名
然后你的国内CDN通过这个记录拉取数据
比如100-500K的图片 上行跑到5-8M的时候 单核CPU就卡了，然后继续加小鸡来做负载

做AX记录设置下面N台前端小鸡
建立多个记录 给不同的CDN服务商抓取数据
这样后期我们对各种CDN获取数据量有更好的分析