URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID3
Нить номер: 75378
[ Назад ]

Исходное сообщение
"Архитектура Twitter"

Отправлено opennews , 14-Мрт-11 10:20 
В статье (http://www.insight-it.ru/masshtabiruemost/arkhitektura-twitt.../) представлено обобщение доступных материалов об организации работы проекта Twitter, входящего в десятку самых популярных сайтов в мире. Ежесекундно в Twitter публикуется около тысячи заметок и просматривается около 1.2 млн, число запросов к API составляет приблизительно 70 тысяч в секунду (6 миллиардов запросов к API в день). Инфраструктуру проекта обслуживает более тысячи серверов. Базовые составляющие интерфейса Twitter написаны с использованием Ruby  (используется REE (http://www.rubyenterpriseedition.com/)) и Ruby on Rails (http://rubyonrails.org/), для реализации некоторых внутренних систем и обработчиков API используется язык Scala (http://www.scala-lang.org/).


Для работы с БД задействованы MySQL, Apache Cassandra (http://cassandra.apache.org/), FlockDB (https://github.com/twitter/flockdb) (распределенная БД, ориентированная на хранение графов) и  Hadoop (http://hadoop.apache.org/). В ...

URL: http://www.insight-it.ru/masshtabiruemost/arkhitektura-twitt.../
Новость: http://www.opennet.me/opennews/art.shtml?num=29897


Содержание

Сообщения в этом обсуждении
"Архитектура Twitter"
Отправлено k0l0b0k , 14-Мрт-11 10:20 
>Инфраструктуру проекта обслуживает более тысячи серверов
>Базовые составляющие интерфейса Twitter написаны с использованием Ruby (используется REE) и Ruby on Rails, для реализации некоторых внутренних систем и обработчиков API используется язык Scala.

а вот написали бы на C++, и твиттер был бы более экологически чистый.


"Архитектура Twitter"
Отправлено Аноним , 14-Мрт-11 11:17 
> а вот написали бы на C++, и твиттер был бы более экологически
> чистый.

А вот начали бы писать на С++, может к 2015 году и ввели бы сайт в строй, а к 2020 отладили бы. А потом оказалось бы, что все нужно переписывать, так как решение не масштабируется под десятикратный рост аудитории в год.


"Архитектура Twitter"
Отправлено Карбофос , 14-Мрт-11 12:38 
бред какой-то несёте...

"Архитектура Twitter"
Отправлено User294 , 14-Мрт-11 14:11 
> так как решение не масштабируется под десятикратный рост аудитории в год.

Ага, пых масштабируется, а плюсы - нет :). А чем они так принципиально отличаются? И какого хрена книгоморда юзает компилежку php -> C++ -> native code? Или у книгоморды проблемы с масштабируемостью, а у твиттера их нет?
  


"Архитектура Twitter"
Отправлено yelbota , 14-Мрт-11 15:54 
LLVM там.

"Архитектура Twitter"
Отправлено Анонима , 15-Мрт-11 19:47 
На правах выдёргивания из контекста:
"Реализован этот механизм простым bash-скриптом, который просматривает агрегированные логи за последние 60 секунд, подсчитывает количество китов/роботов..."

facepalm.jpg


"Архитектура Twitter"
Отправлено Аноним , 14-Мрт-11 10:28 
И все-равно периодически твиттер очень медленный... Периодически не открываются списки фолловеров (если их действительно много), и прочее. Твиттер удобно юзать только с помощью клиентов. Через веб юзать долго, тормозно и хлопотно.

"Архитектура Twitter"
Отправлено Аноним , 14-Мрт-11 11:05 
Вы хотите сказать клиенты подключаются к какой-то особой быстрой базе данных?

"Архитектура Twitter"
Отправлено Аноним , 14-Мрт-11 11:20 
Напрямую к БД - так будет точнее. Когда это скрипты могли работать в реалтайме?

"Архитектура Twitter"
Отправлено бедный буратино , 14-Мрт-11 13:10 
У Обамы и Медведева - правительственный коннект, с мигалками и охраной.

"Архитектура Twitter"
Отправлено User294 , 14-Мрт-11 14:13 
> с мигалками и охраной.

Так вот ты какой, QoS + SSL...


"Архитектура Twitter"
Отправлено Aqueelone , 14-Мрт-11 13:56 
Ну же написано про сервер приложений Unicorn.
Цитата с Unicorn (http://unicorn.bogomips.org/):
Unicorn is an HTTP server for Rack applications designed to only serve fast clients on low-latency, high-bandwidth connections and take advantage of features in Unix/Unix-like kernels. Slow clients should only be served by placing a reverse proxy capable of fully buffering both the the request and response in between Unicorn and slow clients.
----
То есть --- сие только для быстрых клиентов с минимальными задержками и толстыми каналами.
Если Вы не такой...