Ламповые души

Кто веселится, тот ни о чём дурном не думает ~ Адам Мицкевич
Последнее посещение: меньше минуты назад Текущее время: 17 июл 2018, 16:24

Часовой пояс: UTC + 3 часа




 [ Сообщений: 3 ] 
Автор Сообщение
 Заголовок сообщения: Как на форуме коллекционеров forumuuu.comборются с Радикалом
Новое сообщениеДобавлено: 02 апр 2013, 00:11 
Прихвостни (приспешники, подручные, пособники) — миньоны!
Аватар пользователя

Зарегистрирован: 05 янв 2010, 06:03
Сообщений: 45195
Откуда: оттуда
http://forumuuu.com/showthread.php?t=381415

Причины долгого закрытия форума с 21.03.2013 до 22.03.2013

--------------------------------------------------------------------------------

Здравствуйте, уважаемые пользователи.

Хочу поделиться информацией о причинах столь продолжительного закрытия форума, которое произошло этой ночью до 20:43 по МСК 22.03.2013

В связи с тем, что сервис radikal.ru находится в чёрном списке нашего форума (картинки которые размещены на radikal.ru заблокированы на этом форуме, другими словами - они не отображались на нашем форуме), по той причине, что этот сервис стал рассадником троянов, мы провели процедуру переноса картинок с радикала на наш сервер.

Всего было обработано около 21 000 сообщений в которых были размещены радикаловские ссылки.
Средний вес всех радикаловских картинок: более 1 ГБ.

Возможно многих интересует вопрос: "Почему так долго происходил этот процесс?". Если вам интересн ответ, то я постараюсь ниже написать подробный ответ.

1. Все картинки были перенесены в систему вложений. Что это значит? Мы не просто перенесли картинки, эти картинки являются вложениями.. то есть каждая картинка размещённая определённым пользователем была подвязана к этому пользователю и сообщению в котором были размещены картинки с радикала. Этим и отличается система вложений от простых ссылок на картинку.
Эта задача достаточно сложная, поэтому на выполнение привязывания картинок затрачивалось определённое время.

2. Почему форум пришлось отключать?
Форум пришлось отключать по простой причине - скрипт сначала проводит индексацию всех сообщений (более 1 000 000 000) форума, затем определяет в каких сообщениях есть радикаловские ссылки, а затем делает перенос картинок. Если бы мы не отключили форум, а кто-то бы изменил радикаловскую ссылку в сообщении, то произошёл бы некий сбой в работе скрипта, и нам, возможно, пришлось бы начинать процедуру сначала. А процедура эта проводилась около 18 часов.

3. Почему так долго осуществлялся перенос?
Плюс ко всем вышеперечисленным причинам - скрипт производил обработку сообщения, потом делал запрос на радикал и проверял физическую доступность картинки. Бывало такое что картинка есть на сервере радикала, но радикал в это время мог не "отдать" картинку, то есть не показать нам, поэтому скрипт получал ложный ответ от радикала что картинки якобы нет на сервере радикала, но это ведь не так. Вот чтобы предотвратить такие случаи, скрипт был написан так, что он проводил цикл в 6 шагов проверки доступности картинки. Если при первом запросе радикал не отдал картинку, делается второй, третий, четвёртый, пятый, шестой запросы.. и если после шестого запроса радикал не отдал картинку, то это с большой вероятностью говорило о том, что такой картинки уже не существует на радикале. В случае этого радикаловская ссылка вырезалась из сообщения пользователя. Ведь зачем этот мусор в сообщении, если ссылка на картинку является "мёртвой".
Я сам планировал что скрипт управится за ночь, но радикал не всегда хотел отдавать картинки с первого шага.

4. При переносе учитывался весь контент (личные сообщения, публичные сообщения, сообщения и т.д.). Это сделано для того чтобы максимально обезопасить вас от заражения вирусами, троянами которые можно подхватить на сайте радикала.

Несколько скриншотов как это выглядело

Скрипт не может получить ответ от радикала касательно картинок в нескольких сообщениях форума


Потом он делает ещё одну попытку (второй шаг из шести) и получает картинку


А так выглядела обработка личных сообщений в которых были радикаловские ссылки


На данный момент обработаны все радикаловские ссылки, и все картинки которые были размещены на радикале - перемещены на наш сервер.
У кого в сообщениях были ссылки на личные галереи, которые расположены на radikal.ru - покажите содержимое этих галерей другим способом.

---
Внимание!
В скором времени будет запрещено вставлять в сообщения картинки которые хранятся на внешних хостингах картинок. Картинки/фотографии надо будет заливать на наш сервер посредством вложений (кнопка Мультизагрузка вложений на нашем форуме).

Приносим свои извинения за столь длительное отключение форума.

==========

А. Горский, там и ламповое радио "Звезда" обсуждают —

http://forumuuu.com/showthread.php?t=327474

надо будет за этим форумом теперь тоже следить


Вернуться наверх
 Отправить e-mail  
 
 Заголовок сообщения: Re: Как на форуме коллекционеров forumuuu.comборются с Радикалом
Новое сообщениеДобавлено: 02 апр 2013, 03:13 

Зарегистрирован: 30 янв 2010, 19:30
Сообщений: 89
Странная боязнь "радикала", если учесть что именно этот хостинг позволяет давать прямые ссылки на картинки с родным расширением, исключив html.

И также странно то, что некоторые пользователи тупо суют ссылки на всю страницу, а не на саму картинку.


Вернуться наверх
 Отправить e-mail  
 
 Заголовок сообщения: Re: Как на форуме коллекционеров forumuuu.comборются с Радикалом
Новое сообщениеДобавлено: 02 апр 2013, 07:56 

Зарегистрирован: 14 янв 2013, 14:41
Сообщений: 5480
И какие такие трояны они с радикала ловили?
Кстати, их метод неправилен. Если ссылка радикаловская в данный момент не работает, то это не значит что после нескольких запросов вы ее оживите.
А завтра или через несколько дней она опять будет рабочей.
Такое ощущение что серверов у них много и определенный процент их обязательно отключен.

_________________
http://radiopicture.listbb.ru/index.php


Вернуться наверх
 Отправить e-mail  
 
 [ Сообщений: 3 ] 

Часовой пояс: UTC + 3 часа


Кто сейчас на форуме

Сейчас этот форум просматривают: CCBot [Гадкий, мерзкий, слизистый эсэсовский ползунчик!] и гости: 3


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Перейти:  
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Русская поддержка phpBB