Многопоточная качалка на Erlang
what_me
Ну вот, моя первая программа на эрланге. https://github.com/onokhov/erlang_web_crawler/

Язык занятный. Параллелить и устраивать межпроцессное общение просто. Но остальное писать неудобно, думаю, что просто с непривычки. И документацию я ещё не прочитал. Осилил только getting_started, описания модулей string, list, re, httpc и ещё некоторых.
Сторонние модули использовать не хотелось, поэтому то, что в штатных модулях не нашел, делал сам.

Сравнил по производительности с перловой качалкой, эрланговская получилась немного быстрее. За минуту с форума glav.su перловая вытянула 26МБ, а эрланговская 26,7МБ.

Хотелось бы критики по коду от людей эрланг знающих.

Update: Закоммитил правки по комментариям. Заменены паттерны, ++ заменен на [|], использованы list comprehensions.
Update 2: Отказ от prespawn. И правки по стилю
Update 3: Багфикс в receive_text_data/2. Правки по стилю
Tags: ,

Многопоточная качалка на Perl
what_me

в FB ленте увидел пост zamotivator про то, как он делал своё же тестовое задание - многопоточный загрузчик. Я такие штучки люблю, и сделал свой https://github.com/onokhov/crawler/blob/master/crawler.pl. Естественно на Perl.

Для этой задачки было бы достаточно параллельных коннектов, сделанных с AnyEvent::HTTP. Но параллельность там не совсем настоящая, потому как читать ответы, парсить их и записывать в файлы всё равно пришлось бы в один поток. Да и скучно было бы писать программу, основная часть которой уже написана в мануале по AnyEvent. Поэтому я решил реализовать параллельность форками.

AnyEvent остался для того, чтобы раздавать задания в дочерние процессы, а загрузка, разбор и сохранение в файл -- это всё уже параллельно для каждого каждого загружаемого урла. Такая схема может быть полезна для рекурсивных задач, требующих вычислительной мощности.

Скрипту аргументами даётся адрес, который надо закачать, и, опционально, на сколько потоков вести закачку и куда складывать загруженные файлы. Скачиваются только текстовые документы и только с одного сайта. Ссылки заменяются на относительные, поэтому по загруженным файлам можно передвигаться в браузере в оффлайне.

Скрипт ни в коей мере не предназначен для замены wget, это просто программистская разминка.

Tags:

[reposted post]В Петербурге сгорел Технологический институт
Ленин
rjadovoj_rus
reposted by what_me
Оригинал взят у slavikap в В Петербурге сгорел Технологический институт
Оригинал взят у zabinok в В Петербурге сгорел Технологический институт

Пожар в Технологическом институте Петербурга, произошедший в ночь на 30 мая, во время которого рухнул знаменитый купол здания, стал настоящим шоком для петербуржцев и туристов. Он может войти в историю как самый масштабный, так и самый незамеченный властями.

В результате сильнейшего пожара пострадали кровля, чердак и часть пятого этажа на площади 2 тысячи квадратных метров. 600 квадратных метров кровли рухнуло, в том числе и знаменитый на весь город купол, венчавший здание.

Читаем дальшеCollapse )


Такие разные радуги
what_me
Originally posted by vp at Такие разные радуги
rainbowby

Стырено у berlaga здесь

Прогулка по Пружанам, 9 мая 2013
what_me

Осторожно, провокаторы на хоккее!
what_me
Originally posted by semiguru at Осторожно, провокаторы на хоккее!
Если кто ещё не понял, то живу я в городе Стокгольме, где как раз сейчас проходит чемпионат мира.
Сын у меня играет в хоккей, и им в клубе выделяют бесплатные билеты на заведомо непопулярные у местной публики матчи.
Ну чтобы трибуны совсем уж пустыми не были, как в прошлом году.
Так что нам достались билеты на матчи Белорусской сборной в том числе.
Билеты есть, чего бы не  сходить, поддержать братьев-белорусов.
Первый матч, который мы пошли, был Белоруссия-Чехия.
Хоккей был так себе, а вот среди публикни случилось необычное.
Группа "белорусов" руководимая плюгавым мужичком лет пятидесяти в рубашке-вышиванке, развернула на трибунах бело-красно-белый флаг, который отменили при Лукашенко.
Флаг был метров десять в ширину, и хорошо виден отовсюду.
Отмечу, что они все хорошо рассчитали. Такой флаг можно было разложить только на пустой трибуне, а именно на этом матче они были.
А этот тип в вышиванке, и еще один постоянно перемещались по трибуне, кого-то высматривали, следили за реакцией остальной публики, и постоянно кому-то звонили по мобильному.
Удивляло и то, что этим флагом вместе с белорусами трясли арабские и негритянские подростки. коротые на хоккей не ходят никогда.
И собственно матчем в этой группе особо не интересовались, старались только погромче орать.
Естественно, к ним подошла охрана, и сначало веживо, а потом все настойчивее попросила флаг свернуть и успокоиться.
Те отказались, и их попытались свинтить, но безуспечно. Силы были не равны, а арабо-негритянские подростки вообще устроили истерику.
Охрана решила с детьми не воевать, да и матч уже заканчивался.
Вчера Белоруссия играла со Словенией.
Мы сидели рядом с группой белорусов. Нормальных белорусов. С государствернными, как к ним не относись, флагами, красными с зелёной полосой. А у некоторых были даже георгиевские ленточки.
Уже знакомый нам тип в вышиванке проявял активность на трибуне за воротами.
Хоккей не смотрел, опять перемещался туда-сюда, и всё что-то высматривал. И опять кому-то звонил по телефону, видимо ждал инструкций.
В какой-то момент он подошел к основной группе белорусов и стал с ними разговаривать. Особенно наседал на мужика с красно зелёным флагом. Предлагал его снять и заменить на бело-красный.
Когда тот отказался, то вышиванец даже достал деньги и стал их предлагать за смену флага. Ему, естественно, отказали.
Тогда этот активист уже в открытую стал провоцировать публику.
Появилась охрана, и на этот раз всё опять ограничились разговором. Во время которого наш вышиванец вес продолжал оглядыватьця по сторонам, а смотрят ли? а заметны ли его действия?
Матч-то показывают в прямом эфире.
И такое вот мельтешение продолжалось практически весь матч. Вышиванец и пара-тройка его подельников ходили по трибуне , подсаживаясь к руппам белоруспов и стараясь попасть в объектив камеры в том момент когда она показывала болельщиков.
В середине третьего периода наступил один из важнейших моментов в матче.
Белоруссия должна была играть в меньшинстве.
За несколько секунд до вбрасывания вышиванец со товарищи потащили и рюкзака свой десятиметровый флаг и стали его раскладывать на трибуне.
Тут же прибежала охрана и стала их выводить. Выводили по-шведски, то есть долго и мягко.
Выводимые, среди которых успела затестатьтся девица типично болотного вида, отчаянно сопротивлялись.
Вся публика смотрела в основном на них, да и игроки на поле и со скамейки запасных тоже обернулись туда.
И в этот момент Словения как раз забивает гол и сравнивает счет.
А провокаторов с флагом наконец-то выносят с трибун.
Как говорьтся, дешево и сердито.
Протащить на трибуны флаг, нанять за мелкий прайс иммигрантских детишек на один матч, посопротивляться самаму для виду на втором.
А всё ради информационного повода. Сегодня и журнашлюшки  из газетки "Дагенс Нюхетер" уже и со статейкой подоспели. Дескать, у фанатов отбирают флаги.
О том, что у собственно фанатов флагов никто не отбирал - ни слова.
О том, что это была провокация - ни пол-слова.
Зато опять про то, что Лукашенко - диктатор.
И критические вопросы к организаторам, да как вы могли, дескать, убрать "совесршенно легитимный" флаг.
И мнение профессиольной правозащитницы местной, которая уже и на радио пролезла с этим.
А "фанаты" эти перед егодняшним матцем со Швецией будут утраивать манифестацию.
Блин, ну как же вам не стыдно? Такая дешевка... такая гадость...
Ну хоть чуть-чуть совести. Хотя о чём это я. Не та публика. Им хоть в глаза мочись.
И всё прикрывают борьбой за свободу. Да-да, "война всё спишет", плавали, знаем.
Чтобы не заканчивать на грустной ноте, скажу, что белорусы выиграли, забив на последних минутах. И когда из зала убрали провокаторов.
Так что нас всех касается - уберите провокаторов, и мы выиграем. Обязательно выиграем.

ПС. если вы думаете, что болотные эти акции организуются по другому принципу, то включите голову, ну хоть на секунду.



[reposted post]АТТРАКЦИОН ПРИРОДЫ И РАЗУМА
любознательный малый
eduardk
reposted by what_me

Аттракцион природы и разума. За страницами учебника физикиПервая мечта священна!

Вы помните Занимательную физику Я.И.Перельмана?

Многие не любили физику, но только не эту книгу! В ней описывалось волшебство, к которому даже взрослые не оставались равнодушными!

И когда 25 лет назад я захотел сделать свои лекции по физике студентам Уральского Политехнического института им. С.М.Кирова интересными, запоминающимися, влюбить своих студентов в предмет, то решил показывать им нетрадиционные эксперименты, а вопросы задавать забавные, хитрые... Так родилась идея книги, а затем появились методические пособия  и, наконец, рукопись книги.

У этой рукописи не простая судьба. Первые черновики я печатал сам еще на печатной машинке. В начале 90-х о компьютерах только мечтали... А однажды получилась так, что с необязательным студентом исчез и мой рукописный черновик. Лишь через два года я оправился от удара, но за полгода сумел восстановить свой черновик.

К началу века, восстав из пепла, рукопись обрела очертания книги, которая всем нравилась, но не могла иметь коммерческого успеха. Издательствам она была не нужна. Я решил ждать. Прошло еще десять лет...

На полках магазинов появлялись, в лучшем случае, переиздания старых советских книг по физике. А новые так и не появились. Страна уже не делится на физиков и лириков...

Поэтому я пересмотрел свое отношение к своему кладу. Я отдаю его всем желающим!

Что в этом кладе? 386 страниц, 531 вопрос, которые собраны из несколько сотен источников (книги, журналы). Даже профессионалы не будут разочарованы повторением материала известных книг. Ко всему, она богато иллюстрирована, вопросы сопровождаются любопытными фактами. К большинству хитрых вопросов приведена численная оценка. Книги по занимательной физике имели либо описательный характер, либо превращались в задачник. Моя книга прекрасно сочетает оба подхода. И это все богатство на уровне базовых знаний средней школы.

Правда, у нее есть один недостаток - она не обновлялась десять лет... Но законы физики так быстро не устаревают.

Возможно, лично Вам моя книга не нужна и Вы физикой не увлекаетесь :) Но у Вас или у Ваших друзей есть дети, которые учат или собираются учить физику. Или может кто-то водит дружбу с школьным учителем физики. Конечно же, у Вас есть свой учитель физики - сделайте ему подарок! Наконец, Вы желаете, чтобы у нас в стране появился новый Королев, Ландау, даже просто неравнодушные люди с феноменальным мышлением, которое нужно не только физикам, а и простым бизнесменам :)

Помогите мне отдать эту книгу как можно большему числу желающих! Дайте знать через свой журнал, страничку в FB о том, что есть уникальная книга, ценность которой для нашей страны, без преувеличения, огромна, а цена - знак внимания к этой книге - сообщить мне куда ее выслать. Выкладывать на торрент или другие виды файлообменника не буду. Тут ответ.

Книга разбита на файлы, содержащие следующие разделы.

  • Глава 0. Введение.
  • Глава 1. Механика - 82 страницы, 137 вопросов и ответов.
  • Глава 2. Гидростатика, Гидродинамика - 31 страница, 61 вопрос и ответ.
  • Глава 3. Молекулярная физика и Термодинамика - 69 страниц, 143 вопроса и ответа.
  • Глава 4, 5. Электростатика и Электродинамика. Колебания и Волны - 45 страниц, 85 (36 и 49 соответственно) вопросов и ответов.
  • Глава 6. Оптика - 69 страниц, 105 вопросов и ответов.
  • Глава 7. Численная оценка явления. Приложения - 107 страниц.

Чтобы получить небольшое представление о книге в рамках поста покажу несколько разворотов. Этот из Механики. Он и все остальные кликабельны до полноразмера.

Аттракцион природы и разума. За страницами учебника физики

ЕщеCollapse )

Мои деды и война
what_me
Про одного деда я уже писал

А недавно нашел наградной лист другого деда. В свои 18 лет он командовал взводом и заслужил орден.

Perl
what_me
Perl программисты меряются у кого короче
Tags:

Чистое средневековье...
what_me
Чистое средневековье. В средние века вполне материальные и конкретные санкции применялись к государствам и частным лицам за ереси и неправильную веру в бога. В наше время такие санкции применяются за нарушение демократических стандартов. Надо сказать, что четкого определения правильной веры в бога и определения демократических стандартов в природе не существовало и не существует, а является субъективным мнением сильных мира сего. К тому же, мнением переменным. Но на основании этого субъективного мнения в средневековье по приговору инквизиции людей сжигали на костре, а теперь казнят через повешение по приговору демократического суда. Согласитесь разница не большая.
(с) В.Вилежаня

?

Log in

No account? Create an account